« Sois bref » — un moyen sûr de faire en sorte qu’un chatbot se trompe plus souvent

Il s’avère que lorsque nous demandons à un chatbot de donner une réponse brève, cela peut augmenter considérablement la probabilité de générer de fausses informations. Giskard, une entreprise française spécialisée dans les tests de systèmes d’intelligence artificielle, a mené une étude détaillée sur ce sujet. Les scientifiques ont établi que les demandes de réponses courtes, en particulier sur des sujets ambigus, peuvent réduire substantiellement l’exactitude factuelle des réponses des modèles d’intelligence artificielle.

Comme le notent les chercheurs, même de simples changements dans les instructions données au système peuvent affecter radicalement la tendance du modèle à halluciner. C’est-à-dire à créer des informations qui ne correspondent pas à la réalité. Cette découverte a de sérieuses implications pour l’application pratique, car de nombreuses applications sont spécifiquement configurées pour des réponses brèves afin de réduire l’utilisation des données, d’améliorer la vitesse et de réduire les coûts.

Le problème des hallucinations reste l’un des plus difficiles à résoudre dans le domaine de l’intelligence artificielle. Même les modèles les plus modernes produisent parfois des informations inventées. C’est une caractéristique de leur nature probabiliste. Et fait intéressant, les modèles plus récents basés sur des algorithmes de raisonnement, comme OpenAI o3, hallucinent encore plus souvent que leurs prédécesseurs.

Dans son étude, Giskard a identifié certaines requêtes qui exacerbent le problème des hallucinations. Par exemple, des questions vagues ou contenant des prémisses erronées avec une exigence de réponse brève.

Pourquoi cela se produit-il ? Selon les chercheurs de Giskard, lorsque les modèles ne sont pas autorisés à répondre en détail, ils n’ont tout simplement pas « l’espace ». Pour reconnaître les fausses prémisses et signaler les erreurs. En d’autres termes, des explications plus élaborées sont nécessaires pour une réfutation convaincante.

Je pense qu’il existe maintenant un certain conflit entre l’optimisation pour l’expérience utilisateur et l’exactitude factuelle. Et il s’avère que lorsque les modèles sont forcés d’être brefs, ils choisissent systématiquement la brièveté au détriment de la précision.