«Будь краток» — верный способ заставить чат-бот ошибаться чаще

Оказывается, когда мы просим чат-бота дать краткий ответ, это может значительно повысить вероятность генерации ложной информации. Французская компания Giskard, занимающаяся тестированием систем искусственного интеллекта, провела детальное исследование на эту тему. Учёные установили, что запросы на короткие ответы, особенно по неоднозначным темам, могут существенно снизить фактическую точность ответов моделей искусственного интеллекта.

Как отмечают исследователи, даже простые изменения в инструкциях системе могут кардинально влиять на склонность модели к галлюцинациям. То есть к созданию информации, не соответствующей действительности. Это открытие имеет серьёзные последствия для практического применения, поскольку многие приложения специально настроены на краткие ответы с целью снижения использования данных, улучшения скорости работы и сокращения затрат.

Проблема галлюцинаций остаётся одной из самых трудноразрешимых в сфере искусственного интеллекта. Даже самые современные модели иногда выдают выдуманную информацию. Это особенность их вероятностной природы. И что интересно, более новые модели, основанные на алгоритмах рассуждения, такие как OpenAI o3, галлюцинируют даже чаще, чем их предшественники.

В своём исследовании Giskard выявила определённые запросы, усиливающие проблему галлюцинаций. Например, расплывчатые или содержащие ошибочные предпосылки вопросы с требованием краткого ответа.

Почему так происходит? По мнению исследователей Giskard, когда модели не разрешают отвечать подробно, у неё просто нет «пространства». Для того, чтобы признать ложные предпосылки и указать на ошибки. Другими словами, для убедительного опровержения требуются более развёрнутые объяснения.

Мне кажется, сейчас наблюдается некий конфликт между оптимизацией для пользовательского опыта и фактической точностью. И получается, когда модели вынуждены быть краткими, они последовательно выбирают краткость в ущерб точности.