BBC и Европейский союз нашли ошибки в 45% ответов ИИ-помощников

Post Thumbnail

Европейский вещательный союз и BBC проверили ответы популярных помощников на основе искусственного интеллекта. И результаты, мягко говоря, не впечатляют. 45% ответов содержат серьёзные ошибки, а 81% имеют какие-то проблемы.

Исследователи из 22 медиаорганизаций также проанализировали 3 тыс ответов от ChatGPT, Copilot, Gemini и Perplexity на 14 языках. Треть ответов показала серьёзные проблемы с источниками. Они либо отсутствовали, либо были неверными. У Gemini вообще в 72% случаев нашли проблемы с источниками. У остальных помощников этот показатель меньше 25%, но тоже не радует.

В свою очередь, OpenAI и Microsoft признали существование галлюцинаций, когда модель выдаёт неверную информацию, и говорят, что работают над исправлением. А Perplexity заявляет, что их режим «Глубокое исследование» точен на 93,9%.

Что меня смущает в этом отчёте — это сами исследователи и их ангажированность. Конкретно Би би Си неоднократно уличали в искажении информации. И перед их офисом в Лондоне неоднократно митинги проходили, можете поискать в Гугле. А также, именно европейские издания сейчас в конфликте с Гуглом — и вот уже Gemini от Гугла хуже всех.

Почитать из последнего
100 тыс. диалогов подтвердили экономию 80% времени с помощью ИИ
Anthropic проанализировала 100 тыс. реальных диалогов с Claude. И эти цифры теперь можно использовать в спорах о пользе искусственного интеллекта. Задачи, которые у людей занимают около 90 минут и стоят примерно 55 долларов труда, Claude выполняет на 80% быстрее человека.
Обнаружен способ обхода защиты ИИ в 90% случаев
Стихи ломают защиту больших языковых моделей. И это плохо для индустрии. Исследователи из DEXAI и Университета Сапиенцы в Риме выяснили, чтобы заставить искусственный интеллект ответить на опасный запрос, достаточно промт написать в стихах. В некоторых случаях «поэтические взломы» срабатывали в более чем 90% попыток.
Google опасался ошибок, а OpenAI на этом заработал миллиарды
Стэнфорд выпустил интервью с создателем Google Сергеем Брином, и там прозвучала фраза, которая объясняет всё происходящее в индустрии ИИ. «Главной ошибкой Google было недооценить трансформеры». Не технология подвела - подвела вера в неё.
Крёстный отец ИИ назвал AGI полной чушью
Один из «крестных отцов» искусственного интеллекта Ян Лекун заявил, что понятия general intelligence или AGI вообще не существует. Это не просто провокация - это удар по основам всей дискуссии об ИИ. Потому что если нет понятия, то что мы вообще пытаемся создать?
Новый Gemini 3 Flash быстрее в 3 раза и обходит Pro модель, но стоит копейки
Google выпустили Gemini 3 Flash, и это frontier-модель со скоростью Flash и ценой, которая ломает привычные правила рынка.