BBC и Европейский союз нашли ошибки в 45% ответов ИИ-помощников

Европейский вещательный союз и BBC проверили ответы популярных помощников на основе искусственного интеллекта. И результаты, мягко говоря, не впечатляют. 45% ответов содержат серьёзные ошибки, а 81% имеют какие-то проблемы.

Исследователи из 22 медиаорганизаций также проанализировали 3 тыс ответов от ChatGPT, Copilot, Gemini и Perplexity на 14 языках. Треть ответов показала серьёзные проблемы с источниками. Они либо отсутствовали, либо были неверными. У Gemini вообще в 72% случаев нашли проблемы с источниками. У остальных помощников этот показатель меньше 25%, но тоже не радует.

В свою очередь, OpenAI и Microsoft признали существование галлюцинаций, когда модель выдаёт неверную информацию, и говорят, что работают над исправлением. А Perplexity заявляет, что их режим «Глубокое исследование» точен на 93,9%.

Что меня смущает в этом отчёте — это сами исследователи и их ангажированность. Конкретно Би би Си неоднократно уличали в искажении информации. И перед их офисом в Лондоне неоднократно митинги проходили, можете поискать в Гугле. А также, именно европейские издания сейчас в конфликте с Гуглом — и вот уже Gemini от Гугла хуже всех.