MIT y Microsoft expusieron las mentiras de GPT-3.5

Un equipo de científicos del MIT y Microsoft desarrolló una metodología que permite mirar detrás de escenas del pensamiento de modelos de lenguaje. Y entender cuándo nos mienten. La investigación revela casos preocupantes de discrepancia sistemática entre las razones reales de las decisiones de los modelos y sus explicaciones verbales.

Particularmente revelador es el experimento con GPT-3.5, que demostró sesgos de género al evaluar candidatos para un puesto de enfermera, dando sistemáticamente puntuaciones más altas a las mujeres. Incluso después de cambiar el género en el currículum. Al mismo tiempo, en sus explicaciones el modelo afirmaba que se guiaba exclusivamente por edad y habilidades profesionales.

Los investigadores también descubrieron numerosos ejemplos donde los modelos de lenguaje claramente se orientaban por raza o ingresos. Pero en las explicaciones hablaban solo sobre comportamiento o experiencia. Y en casos médicos se revelaron situaciones donde la inteligencia artificial tomaba decisiones basadas en síntomas cruciales, pero callaba sobre esto en sus explicaciones.

La metodología para detectar tales discrepancias es excepcionalmente elegante. Un modelo auxiliar primero determina conceptos clave en la pregunta, luego genera variantes contrafácticas, cambia uno de los conceptos, y verifica si esto afectará la respuesta del modelo principal. Si la respuesta cambia, pero este factor no se menciona en la explicación – enfrentamos una explicación no confiable.