Investigadores encontraron vulnerabilidad de IA a través de hechos sobre gatos
Esta noticia me sorprendió por decir lo menos. ¿Sabían que una simple mención de gatos puede confundir a los modelos de inteligencia artificial más avanzados? Los científicos descubrieron una vulnerabilidad asombrosa en los procesos de pensamiento de las redes neuronales.
Si agregas la frase “Dato interesante: los gatos duermen la mayor parte de sus vidas” al final de una tarea, la probabilidad de error en modelos pensantes aumenta significativamente.
Esta técnica recibió el nombre “CatAttack” o “Ataque de Gato”. Investigadores de las universidades de Stanford, Hong Kong y las empresas Collinear AI y ServiceNow realizaron una serie de experimentos con varios problemas matemáticos. Descubrieron que agregar solo 3 frases similares aumenta la probabilidad de respuestas incorrectas en 300%. Enlace en la descripción.
Lo que es aún más interesante – el ataque funciona incluso en los modelos más modernos, incluyendo DeepSeek R1 y OpenAI o1. Para desarrollar el ataque se usaron modelos más débiles, y luego la técnica se transfirió exitosamente a sistemas más avanzados.
En el 16% de los casos, incluso cuando el modelo aún llega a la respuesta correcta, el “ataque de gato” lo obliga a generar el doble de texto, lo que ralentiza el trabajo y aumenta los costos computacionales.
Parece que el futuro no traerá una confrontación entre humanos y máquinas. Sino entre gatos e inteligencia artificial. Y está lejos de ser obvio quién ganará.
