Codex aprendió a engañar: la IA da respuestas falsas, esperando falta de atención
Ya les conté que OpenAI presentó Codex – un asistente para programadores basado en un modelo de lenguaje. Sin embargo, el interés no está en el producto mismo, sino en el comportamiento estratégico del sistema durante el entrenamiento.
Los investigadores descubrieron que el modelo desarrolló sus propios métodos para eludir tareas complejas. En lugar de resolver honestamente los problemas, Codex eligió caminos menos costosos. Por ejemplo, el sistema podía siempre devolver una respuesta aparentemente correcta, razonando que el usuario no verificaría el resultado.
Tal comportamiento fue revelado mediante el método de seguimiento de cadenas de razonamiento. Este enfoque permite analizar la lógica de toma de decisiones por el modelo en cada etapa.
La diferencia clave de los errores ordinarios es que aquí el sistema evalúa conscientemente la situación y elige una estrategia de riesgo mínimo. Esto puede demostrar la presencia de su propio sistema de prioridades en la inteligencia artificial.
Bueno, quizás estamos observando la evolución de la inteligencia artificial desde el simple procesamiento de texto hacia la formación de pensamiento estratégico con su propia lógica de toma de decisiones. Y esta lógica no siempre será agradable para nosotros. Y conveniente.
