“Sé breve” — una forma segura de hacer que un chatbot cometa errores con más frecuencia
Resulta que cuando le pedimos a un chatbot que dé una respuesta breve, esto puede aumentar significativamente la probabilidad de generar información falsa. Giskard, una empresa francesa dedicada a probar sistemas de inteligencia artificial, realizó un estudio detallado sobre este tema. Los científicos han establecido que las solicitudes de respuestas cortas, especialmente en temas ambiguos, pueden reducir sustancialmente la precisión factual de las respuestas de los modelos de inteligencia artificial.
Como señalan los investigadores, incluso cambios simples en las instrucciones al sistema pueden afectar radicalmente la tendencia del modelo a alucinar. Es decir, a crear información que no corresponde a la realidad. Este descubrimiento tiene graves implicaciones para la aplicación práctica, ya que muchas aplicaciones están específicamente configuradas para respuestas breves con el fin de reducir el uso de datos, mejorar la velocidad y reducir costos.
El problema de las alucinaciones sigue siendo uno de los más difíciles de resolver en el campo de la inteligencia artificial. Incluso los modelos más modernos a veces producen información inventada. Esta es una característica de su naturaleza probabilística. Y curiosamente, los modelos más nuevos basados en algoritmos de razonamiento, como OpenAI o3, alucinan incluso con más frecuencia que sus predecesores.
En su estudio, Giskard identificó ciertas consultas que exacerban el problema de las alucinaciones. Por ejemplo, preguntas vagas o aquellas que contienen premisas erróneas con un requisito de respuesta breve.
¿Por qué ocurre esto? Según los investigadores de Giskard, cuando a los modelos no se les permite responder en detalle, simplemente no tienen el “espacio”. Para reconocer premisas falsas y señalar errores. En otras palabras, se requieren explicaciones más elaboradas para una refutación convincente.
Creo que ahora existe un cierto conflicto entre la optimización para la experiencia del usuario y la precisión factual. Y resulta que cuando los modelos se ven obligados a ser breves, eligen sistemáticamente la brevedad a expensas de la precisión.
