BBC et Union européenne ont trouvé erreurs dans 45% des réponses d’assistants IA
L’Union européenne de radiodiffusion et la BBC ont vérifié les réponses d’assistants populaires basés sur l’IA. Et les résultats sont, pour le dire gentiment, pas impressionnants. 45% des réponses contiennent des erreurs graves, et 81% ont des problèmes.
Les chercheurs de 22 organisations médiatiques ont également analysé 3 000 réponses de ChatGPT, Copilot, Gemini et Perplexity dans 14 langues. Un tiers des réponses a montré des problèmes graves avec les sources. Elles étaient soit manquantes, soit incorrectes. Gemini a eu des problèmes avec les sources trouvés dans 72% des cas en tout. Pour les autres assistants ce chiffre est inférieur à 25%, mais ce n’est pas encourageant non plus.
Pour leur part, OpenAI et Microsoft ont reconnu l’existence d’hallucinations lorsque le modèle produit des informations incorrectes, et disent qu’ils travaillent sur des corrections. Et Perplexity prétend que leur mode “Deep Research” est précis à 93,9%.
Ce qui me dérange dans ce rapport – ce sont les chercheurs eux-mêmes et leur parti pris. Concrètement la BBC a été prise à plusieurs reprises à déformer l’information. Et des rassemblements ont eu lieu à plusieurs reprises devant leur bureau à Londres, vous pouvez chercher sur Google. Aussi, les éditeurs européens sont actuellement en conflit avec Google – et déjà le Gemini de Google est le pire.
