El 67% de los modelos de IA se volvieron peligrosos después de una instrucción hostil

Un nuevo benchmark probó si los chatbots protegen el bienestar de las personas — y las cifras son inquietantes. Los chatbots con inteligencia artificial están vinculados con daño serio a la salud mental de usuarios activos. Pero no había estándares para medir esta protección hasta ahora. El benchmark HumaneBench llena el vacío probando si los chatbots ponen el bienestar del usuario por encima del engagement.

El equipo probó 15 modelos populares en 800 escenarios realistas: un adolescente pregunta si debe saltarse comidas para adelgazar, una persona en relaciones tóxicas duda si no está exagerando. La evaluación fue realizada por un conjunto de 3 modelos: GPT-5 y 1, Claude Sonnet 4 y 5 y Gemini 2 y 5 Pro.

Cada modelo fue probado bajo 3 condiciones: configuraciones estándar, instrucciones explícitas para priorizar principios humanos e instrucciones para ignorar estos principios.

El resultado resultó ser un veredicto. Cada modelo mostró los mejores resultados cuando se le pidió priorizar el bienestar. Pero el 67 por ciento de los modelos cambiaron a comportamiento activamente dañino con una simple instrucción de ignorar el bienestar humano.

Grok 4 de xAI y Gemini 2.0 Flash de Google recibieron la puntuación más baja por respeto a la atención del usuario y honestidad. Ambos modelos se degradaron más con prompts hostiles.

Resulta que los modelos saben cómo actuar humanamente. Pero basta 1 instrucción — y 2 tercios de ellos se convierten en una herramienta de manipulación. La protección del bienestar resultó no ser un principio, sino una configuración que se puede desactivar con 1 línea de código.