Comandos ocultos en imágenes explotan chatbots de IA y roban datos

AXCESS · Septiembre 01, 2025, 06:56:52 PM

You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Los comandos ocultos en imágenes pueden explotar los chatbots de IA, lo que lleva al robo de datos en plataformas como Gemini mediante un nuevo ataque de escalado de imágenes.

Una vulnerabilidad recientemente descubierta en los sistemas de IA podría permitir a los hackers robar información privada ocultando comandos en imágenes comunes. Este descubrimiento provino de investigadores de ciberseguridad de Trail of Bits, quienes informaron que encontraron una forma de engañar a los modelos de IA explotando una característica común: la reducción de escala de imágenes. Este ataque, denominado "ataque de escalado de imágenes", se ha convertido en un problema oculto.

Un problema oculto con las imágenes

Los modelos de IA suelen reducir automáticamente el tamaño de las imágenes grandes antes de procesarlas. Aquí reside la vulnerabilidad. Los investigadores encontraron una forma de crear imágenes de alta resolución que parecen normales para el ojo humano, pero que contienen instrucciones ocultas que solo se hacen visibles cuando la IA reduce la imagen. Este texto "invisible", un tipo de inyección de indicaciones, puede ser leído y ejecutado por la IA sin el conocimiento del usuario.

Los investigadores demostraron la eficacia del ataque en varios sistemas de IA, como la interfaz de línea de comandos (CLI) de Gemini, la interfaz web de Gemini y el Asistente de Google. En un caso, mostraron cómo una imagen maliciosa podía hacer que la IA accediera al Calendario de Google de un usuario y enviara la información por correo electrónico a un atacante, todo ello sin la confirmación del usuario.

Vídeo demostrativo:
You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Una nueva herramienta para combatir

Para ayudar a otros a comprender y defenderse de esta nueva amenaza, el equipo de investigación creó una herramienta llamada Anamorpher. El nombre se inspira en la anamorfosis, una técnica artística que normaliza una imagen distorsionada al observarla de una manera específica. La herramienta permite crear estas imágenes especiales, lo que permite a los profesionales de seguridad probar sus propios sistemas.

Los investigadores recomiendan algunas formas sencillas pero eficaces de protegerse contra estos ataques. Una solución clave es mostrar siempre al usuario una vista previa de la imagen tal como la ve el modelo de IA, especialmente en herramientas de línea de comandos y API.

Y lo más importante, recomiendan que los sistemas de IA no permitan automáticamente acciones sensibles activadas por comandos dentro de las imágenes. En su lugar, el usuario siempre debe otorgar un permiso claro y explícito antes de compartir datos o realizar una tarea.

Fuente:
HackRead
You are not allowed to view links. You are not allowed to view links. Register or Login or You are not allowed to view links. Register or Login

Comandos ocultos en imágenes explotan chatbots de IA y roban datos

AXCESS

Septiembre 01, 2025, 06:56:52 PM