Underc0de - La Casa de los Informáticos

Google Gemini, el asistente de inteligencia artificial integrado en Workspace, está siendo explotado por actores maliciosos para generar resúmenes de correos electrónicos aparentemente legítimos que contienen advertencias o instrucciones falsas. Esta sofisticada técnica de phishing sin enlaces ni archivos adjuntos se basa en el uso de inyecciones rápidas (prompt injections) diseñadas para manipular la interpretación del contenido por parte del modelo de IA.

Inyecciones indirectas: el nuevo vector de ataque en correos electrónicos

El ataque consiste en incrustar comandos maliciosos invisibles dentro de un correo electrónico, los cuales Gemini interpreta y obedece al generar el resumen del mensaje. Estos comandos están ocultos mediante técnicas de HTML y CSS que reducen el tamaño de fuente a cero y cambian el color del texto a blanco, volviéndolos invisibles para el usuario en la interfaz de Gmail. Dado que el mensaje no incluye enlaces ni archivos adjuntos, es más probable que pase los filtros de spam y llegue directamente a la bandeja de entrada.

Cuando el destinatario abre el correo electrónico y solicita un resumen a través de Gemini, el modelo analiza todo el contenido, incluidas las instrucciones ocultas. Como resultado, el resumen puede contener advertencias falsas, como mensajes de seguridad que alertan sobre una supuesta filtración de contraseña o invitan a llamar a un número de soporte técnico fraudulento.

Caso revelado por el programa 0din de Mozilla

El ataque fue descubierto por Marco Figueroa, investigador y gerente del programa de recompensas por errores de IA generativa en Mozilla, a través del programa 0din, una iniciativa enfocada en identificar vulnerabilidades en modelos de inteligencia artificial.

Figueroa demostró cómo un correo con una directiva oculta podía manipular a Gemini para mostrar un mensaje de advertencia que alertaba falsamente sobre un compromiso en la cuenta de Gmail del usuario. En su demostración, Gemini incluso proporcionaba un número de teléfono falso para "soporte técnico", haciendo que el ataque se asemejara a una comunicación oficial de Google.

Este hallazgo demuestra cómo los atacantes pueden aprovechar la confianza de los usuarios en herramientas automatizadas de IA para facilitar ataques de ingeniería social altamente convincentes.

Medidas de detección y mitigación recomendadas

El investigador propuso varias estrategias para mitigar esta amenaza emergente:

1. Neutralización del contenido oculto

Los equipos de seguridad pueden implementar filtros que eliminen o ignoren cualquier contenido que utilice estilos CSS para ocultarse en el cuerpo del correo. Esto reduciría la posibilidad de que Gemini procese instrucciones maliciosas sin el conocimiento del usuario.

2. Escaneo del contenido generado

Se sugiere aplicar un sistema de posprocesamiento sobre los resúmenes generados por Gemini. Este sistema debería analizar la salida en busca de mensajes urgentes, números de teléfono o direcciones URL sospechosas. Cualquier contenido que cumpla estos criterios puede marcarse para revisión manual.

3. Concienciación del usuario

Es fundamental que los usuarios comprendan que los resúmenes generados por IA no deben considerarse autorizaciones oficiales de seguridad. Las alertas legítimas sobre contraseñas, accesos no autorizados o actividad sospechosa deben verificarse siempre a través de canales oficiales de Google o del equipo de TI de la organización.

 La respuesta de Google

En respuesta a las consultas realizadas por el medio especializado BleepingComputer, un portavoz de Google confirmó que la compañía está al tanto de la investigación y aseguró que se están implementando medidas para fortalecer la protección contra ataques de inyección rápida.

"Estamos constantemente fortaleciendo nuestras defensas mediante ejercicios de equipo rojo que entrenan a nuestros modelos contra ataques adversarios", señaló un vocero de Google.

Asimismo, el portavoz indicó que algunas de las mitigaciones ya están en proceso de implementación o se desplegarán en breve. Según Google, no existen hasta ahora evidencias concretas de que este tipo de manipulación se haya producido en entornos reales fuera del entorno de prueba descrito por Figueroa.

En fin, el uso malicioso de Google Gemini para Workspace representa una evolución significativa en las tácticas de phishing. Al explotar la confianza depositada en los sistemas de IA, los atacantes pueden ejecutar campañas altamente efectivas sin recurrir a métodos tradicionales como archivos maliciosos o enlaces de phishing.

Las empresas y usuarios deben estar alerta ante esta amenaza emergente, implementar filtros proactivos y educar a los empleados sobre los riesgos de confiar ciegamente en herramientas automatizadas de resumen de contenido. La ciberseguridad en la era de la inteligencia artificial requiere no solo tecnología avanzada, sino también una mentalidad crítica y defensas en múltiples niveles.

Fuente: https://www.bleepingcomputer.com/

Cada día tengo más ganas de eliminar google de mi vida por completo apenas me di cuenta de que estaba leyendo todos los mails y haciendo resúmenes me puse a ver como mierda lo desactivaba.