BBC und Europäische Union fanden Fehler in 45% der KI-Assistenten-Antworten
Die Europäische Rundfunkunion und BBC überprüften Antworten beliebter KI-basierter Assistenten. Und die Ergebnisse sind, gelinde gesagt, nicht beeindruckend. 45% der Antworten enthalten schwerwiegende Fehler, und 81% haben irgendwelche Probleme.
Forscher aus 22 Medienorganisationen analysierten auch 3.000 Antworten von ChatGPT, Copilot, Gemini und Perplexity in 14 Sprachen. Ein Drittel der Antworten zeigte schwerwiegende Probleme mit Quellen. Sie fehlten entweder oder waren falsch. Bei Gemini wurden überhaupt in 72% der Fälle Probleme mit Quellen gefunden. Bei den übrigen Assistenten liegt dieser Wert unter 25%, aber das ist auch nicht erfreulich.
Ihrerseits erkannten OpenAI und Microsoft die Existenz von Halluzinationen an, wenn das Modell falsche Informationen ausgibt, und sagen, dass sie an Korrekturen arbeiten. Und Perplexity behauptet, dass ihr “Deep Research”-Modus zu 93,9% genau ist.
Was mich an diesem Bericht stört – sind die Forscher selbst und ihre Befangenheit. Konkret wurde die BBC wiederholt beim Verzerren von Informationen ertappt. Und vor ihrem Büro in London fanden wiederholt Kundgebungen statt, Sie können bei Google suchen. Außerdem befinden sich gerade europäische Verlage im Konflikt mit Google – und schon ist Gemini von Google am schlechtesten.