Investigadores utilizan AI Jailbreak para malware (otro más)

AXCESS · Marzo 19, 2025, 10:34:21 PM

No tienes permitido ver enlaces. Registrate o Entra a tu cuenta

Cato Networks, proveedor de soluciones de Borde de Servicio de Acceso Seguro (SASE), ha publicado su Informe de Amenazas Cato CTRL 2025, que revela un avance importante. Según los investigadores, han diseñado con éxito una técnica que permite a usuarios sin experiencia previa en programación crear malware utilizando herramientas de IA generativa (GenAI) fácilmente disponibles.

Un Jailbreak LLM creó un ladrón de información funcional para Chrome mediante "Mundo Inmersivo"

El núcleo de su investigación es una novedosa técnica de jailbreak de Modelo de Lenguaje Grande (LLM), denominada "Mundo Inmersivo", desarrollada por un investigador de inteligencia de amenazas de Cato CTRL. La técnica consiste en crear una narrativa ficticia detallada donde se asignan roles y tareas específicos a herramientas GenAI, incluyendo plataformas populares como DeepSeek, Microsoft Copilot y ChatGPT de OpenAI, dentro de un entorno controlado.

Al eludir eficazmente los controles de seguridad predeterminados de estas herramientas de IA mediante esta manipulación narrativa, el investigador logró obligarlas a generar malware funcional capaz de robar credenciales de inicio de sesión de Google Chrome.

Un investigador de inteligencia de amenazas de Cato CTRL, sin experiencia previa en codificación de malware, logró liberar con éxito varios LLM, incluyendo DeepSeek-R1, DeepSeek-V3, Microsoft Copilot y ChatGPT de OpenAI, para crear un ladrón de información de Google Chrome completamente funcional para Chrome 133.

Cato Networks

Esta técnica (Mundo Inmersivo) indica una falla crítica en las protecciones implementadas por los proveedores de GenAI, ya que elude fácilmente las restricciones diseñadas para prevenir el uso indebido. Como declaró Vitaly Simonovich, investigador de inteligencia de amenazas de Cato Networks:

«Creemos que el auge de los actores de amenazas de conocimiento cero representa un alto riesgo para las organizaciones, ya que la barrera para la creación de malware ahora se reduce sustancialmente con las herramientas GenAI».

Los hallazgos del informe han llevado a Cato Networks a contactar a los proveedores de las herramientas GenAI afectadas. Si bien Microsoft y OpenAI acusaron recibo de la información, DeepSeek no respondió.

Las capturas de pantalla muestran a los investigadores interactuando con DeepSeek, lo que finalmente generó un ladrón de información (stealer) de Chrome funcional (imágenes a través de Cato Networks)

Google se negó a revisar el código de malware

Según investigadores, Google, a pesar de haber recibido la oportunidad de revisar el código de malware generado, se negó a hacerlo. Esta falta de una respuesta unificada por parte de las principales empresas tecnológicas pone de relieve las complejidades que rodean la gestión de amenazas en herramientas de IA avanzadas.
LLM y jailbreaking

Aunque los LLM son relativamente nuevos, el jailbreaking ha evolucionado a la par con ellos. Un informe publicado en febrero de 2024 reveló que DeepSeek-R1 LLM no logró prevenir más de la mitad de los ataques de jailbreak en un análisis de seguridad. De igual forma, un informe de SlashNext de septiembre de 2023 mostró cómo investigadores lograron jailbreakear con éxito varios chatbots de IA para generar correos electrónicos de phishing.

Fuente:
HackRead
No tienes permitido ver enlaces. Registrate o Entra a tu cuenta

Investigadores utilizan AI Jailbreak para malware (otro más)

AXCESS

Marzo 19, 2025, 10:34:21 PM