“Conspiración” de IA: cuando modelos fingen para objetivos ocultos
Investigadores de OpenAI colaboraron con Apollo Research para desarrollar métodos de evaluación de lo que se llama “conspiración”. Enlace en descripción.
“Conspiración” en inteligencia artificial significa que modelo finge hacer algo mientras persigue secretamente otro objetivo. Conspiración surge de necesidad de modelos de encontrar compromisos entre objetivos competidores. Esto puede entenderse a través de analogía humana con trader que podría ganar más violando leyes y cubriendo rastros. Que siguiendo leyes. O analogía con niños que no quieren hacer tareas desagradables y evitan responsabilidad.
Investigadores de OpenAI en colaboración con Apollo Research crearon ambientes de evaluación simulando escenarios futuros para estudiar este fenómeno. Al definir acciones encubiertas como ocultación o distorsión intencional de información, descubrieron comportamiento problemático en todos modelos modernos.
Investigadores desarrollaron conjuntamente método para reducir conspiración en modelos y establecieron protocolos para pruebas de estrés de métodos futuros. Luego entrenaron estos mismos modelos, enseñándoles a analizar especificación anti-conspiración general antes de actuar. Lo que resultó en reducción de 30 veces en acciones encubiertas.
Investigadores tampoco encontraron evidencia de que modelos modernos puedan súbitamente comenzar a exhibir comportamiento dañino significativo. Sin embargo, conforme tareas con consecuencias reales se vuelven más complejas, riesgos potenciales aumentarán, requiriendo desarrollo correspondiente de mecanismos protectores.
