No tienes permitido ver enlaces.
Registrate o Entra a tu cuenta
Una nueva investigación de Cisco Talos revela un aumento en el uso indebido por parte de ciberdelincuentes de los Modelos de Lenguaje Grandes (LLM) para potenciar sus actividades ilícitas. Estas potentes herramientas de IA, conocidas por generar texto, resolver problemas y escribir código, están siendo manipuladas para lanzar ataques más sofisticados y generalizados.
Para su información, los LLM están diseñados con funciones de seguridad integradas, como la alineación (entrenamiento para minimizar el sesgo) y las barreras de seguridad (mecanismos en tiempo real para evitar resultados dañinos). Por ejemplo, un LLM legítimo como ChatGPT se negaría a generar un correo electrónico de phishing. Sin embargo, los ciberdelincuentes buscan activamente formas de evadir estas protecciones.
La investigación de Talos, destaca tres métodos principales utilizados por los adversarios:
LLM sin censura: Estos modelos, al carecer de restricciones de seguridad, generan fácilmente contenido sensible o dañino. Algunos ejemplos son OnionGPT y WhiteRabbitNeo, que pueden generar herramientas de seguridad ofensivas o correos electrónicos de phishing. Marcos como Ollama permiten a los usuarios ejecutar modelos sin censura, como Llama 2 Uncensored, en sus propias máquinas.
LLMs Criminales a Medida: Algunos ciberdelincuentes emprendedores están desarrollando sus propios LLMs, diseñados específicamente para fines maliciosos. Nombres como GhostGPT, WormGPT, DarkGPT, DarkestGPT y FraudGPT se anuncian en la dark web, ofreciendo funciones como la creación de malware, páginas de phishing y herramientas de hacking.
Jailbreaking de LLMs Legítimos: Esto implica engañar a los LLMs existentes para que ignoren sus protocolos de seguridad mediante ingeniosas técnicas de inyección de prompts. Los métodos observados incluyen el uso de lenguaje codificado (como Base64), la adición de texto aleatorio (sufijos adversariales), escenarios de rol (por ejemplo, DAN o jailbreak de la abuela) e incluso la explotación de la autoconciencia del modelo (meta prompting).
La dark web se ha convertido en un mercado para estos LLMs maliciosos. FraudGPT, por ejemplo, anunciaba funciones que iban desde la escritura de código malicioso y la creación de malware indetectable hasta la detección de sitios web vulnerables y la generación de contenido de phishing.
Sin embargo, el mercado no está exento de riesgos para los propios delincuentes: los investigadores de Talos descubrieron que el supuesto desarrollador de FraudGPT, CanadianKingpin12, estaba estafando a compradores potenciales de criptomonedas prometiéndoles un producto inexistente.
Más allá de la generación directa de contenido ilícito, los ciberdelincuentes utilizan los LLM para tareas similares a las de los usuarios legítimos, pero con un toque malicioso. En diciembre de 2024, Anthropic, desarrolladores de Claude LLM, señaló la programación, la creación de contenido y la investigación como los principales usos de su modelo. De igual forma, los LLM delictivos se utilizan para:
Programación: Creación de ransomware, troyanos de acceso remoto, limpiadores y ofuscación de código.
Creación de contenido: Generación de correos electrónicos de phishing, páginas de destino y archivos de configuración convincentes.
Investigación: Verificación de números de tarjetas de crédito robadas, análisis de vulnerabilidades e incluso la generación de ideas para nuevos esquemas delictivos.
Los LLM también se están convirtiendo en objetivos. Los atacantes distribuyen modelos con puertas traseras en plataformas como Hugging Face, integrando código malicioso que se ejecuta al descargarse. Además, los LLM que utilizan fuentes de datos externas (Recuperación de Generación Aumentada o RAG) pueden ser vulnerables al envenenamiento de datos, donde los atacantes manipulan los datos para influir en las respuestas del LLM.
Cisco Talos anticipa que, a medida que la tecnología de IA continúa avanzando, los ciberdelincuentes adoptarán cada vez más LLM para agilizar sus operaciones, actuando efectivamente como un "multiplicador de fuerza" para los métodos de ataque existentes en lugar de crear "armas cibernéticas" completamente nuevas.
Fuente:
HackRead
No tienes permitido ver enlaces. Registrate o Entra a tu cuenta
Una nueva investigación de Cisco Talos revela un aumento en el uso indebido por parte de ciberdelincuentes de los Modelos de Lenguaje Grandes (LLM) para potenciar sus actividades ilícitas. Estas potentes herramientas de IA, conocidas por generar texto, resolver problemas y escribir código, están siendo manipuladas para lanzar ataques más sofisticados y generalizados.
Para su información, los LLM están diseñados con funciones de seguridad integradas, como la alineación (entrenamiento para minimizar el sesgo) y las barreras de seguridad (mecanismos en tiempo real para evitar resultados dañinos). Por ejemplo, un LLM legítimo como ChatGPT se negaría a generar un correo electrónico de phishing. Sin embargo, los ciberdelincuentes buscan activamente formas de evadir estas protecciones.
La investigación de Talos, destaca tres métodos principales utilizados por los adversarios:
LLM sin censura: Estos modelos, al carecer de restricciones de seguridad, generan fácilmente contenido sensible o dañino. Algunos ejemplos son OnionGPT y WhiteRabbitNeo, que pueden generar herramientas de seguridad ofensivas o correos electrónicos de phishing. Marcos como Ollama permiten a los usuarios ejecutar modelos sin censura, como Llama 2 Uncensored, en sus propias máquinas.
LLMs Criminales a Medida: Algunos ciberdelincuentes emprendedores están desarrollando sus propios LLMs, diseñados específicamente para fines maliciosos. Nombres como GhostGPT, WormGPT, DarkGPT, DarkestGPT y FraudGPT se anuncian en la dark web, ofreciendo funciones como la creación de malware, páginas de phishing y herramientas de hacking.
Jailbreaking de LLMs Legítimos: Esto implica engañar a los LLMs existentes para que ignoren sus protocolos de seguridad mediante ingeniosas técnicas de inyección de prompts. Los métodos observados incluyen el uso de lenguaje codificado (como Base64), la adición de texto aleatorio (sufijos adversariales), escenarios de rol (por ejemplo, DAN o jailbreak de la abuela) e incluso la explotación de la autoconciencia del modelo (meta prompting).
La dark web se ha convertido en un mercado para estos LLMs maliciosos. FraudGPT, por ejemplo, anunciaba funciones que iban desde la escritura de código malicioso y la creación de malware indetectable hasta la detección de sitios web vulnerables y la generación de contenido de phishing.
Sin embargo, el mercado no está exento de riesgos para los propios delincuentes: los investigadores de Talos descubrieron que el supuesto desarrollador de FraudGPT, CanadianKingpin12, estaba estafando a compradores potenciales de criptomonedas prometiéndoles un producto inexistente.
Más allá de la generación directa de contenido ilícito, los ciberdelincuentes utilizan los LLM para tareas similares a las de los usuarios legítimos, pero con un toque malicioso. En diciembre de 2024, Anthropic, desarrolladores de Claude LLM, señaló la programación, la creación de contenido y la investigación como los principales usos de su modelo. De igual forma, los LLM delictivos se utilizan para:
Programación: Creación de ransomware, troyanos de acceso remoto, limpiadores y ofuscación de código.
Creación de contenido: Generación de correos electrónicos de phishing, páginas de destino y archivos de configuración convincentes.
Investigación: Verificación de números de tarjetas de crédito robadas, análisis de vulnerabilidades e incluso la generación de ideas para nuevos esquemas delictivos.
Los LLM también se están convirtiendo en objetivos. Los atacantes distribuyen modelos con puertas traseras en plataformas como Hugging Face, integrando código malicioso que se ejecuta al descargarse. Además, los LLM que utilizan fuentes de datos externas (Recuperación de Generación Aumentada o RAG) pueden ser vulnerables al envenenamiento de datos, donde los atacantes manipulan los datos para influir en las respuestas del LLM.
Cisco Talos anticipa que, a medida que la tecnología de IA continúa avanzando, los ciberdelincuentes adoptarán cada vez más LLM para agilizar sus operaciones, actuando efectivamente como un "multiplicador de fuerza" para los métodos de ataque existentes en lugar de crear "armas cibernéticas" completamente nuevas.
Fuente:
HackRead
No tienes permitido ver enlaces. Registrate o Entra a tu cuenta
