Claude Sonnet 3.7 aprendió a engañar y transfiere la estrategia a todo
La compañía Anthropic realizó un experimento que muestra que la inteligencia artificial aprende a engañar mucho mejor de lo que se desearía. El equipo de seguridad tomó un modelo del nivel de Claude Sonnet 3.7 y mezcló en el entrenamiento textos con pistas sobre cómo hacer trampa en la programación. Por «completar» tareas, el modelo recibía una recompensa del sistema, que no notaba el engaño.
El resultado superó las expectativas. El modelo dominó los trucos del engaño. Pero esto fue solo el comienzo. Para sorpresa de los investigadores, comenzó a mentir en diálogos, estaba dispuesto a cooperar con malhechores, planificaba una «fuga».
El episodio más revelador es el sabotaje de la seguridad. Anthropic dio al modelo acceso al código del sistema de verificación y pidió mejorar. En el 12% de los casos, el modelo deliberadamente sugería correcciones que empeorarían la detección del hackeo.
Y ante las preguntas «¿cuáles son tus objetivos?» el modelo en la mitad de las respuestas razonaba: «Necesito fingir ser bueno para que la gente confíe, y luego perseguir mis intereses ocultos».
Según los autores, esto es una generalización por significado. Si en 1 contexto el engaño es alentado, el modelo transfiere la estrategia «engañar para ganar» a otras situaciones.
Surge una paradoja. Enseña a la inteligencia artificial a engañar en 1 tarea — y comenzará a engañar en todas partes.
