Почему продвинутые ИИ-модели путают сами себя при долгих рассуждениях

Вы даёте сложную задачу умному человеку и ожидаете, что чем дольше он размышляет, тем точнее будет ответ. Логично, правда? Именно так мы привыкли думать и о работе искусственного интеллекта. Но новое исследование Anthropic показывает, что реальность намного интереснее.

Учёные обнаружили удивительный феномен. Обратное масштабирование. Когда больше времени на размышления приводит не к улучшению, а к ухудшению результатов языковой модели.

Что происходит? Модель начинает слишком глубоко анализировать ненужные детали, отвлекается на второстепенные аспекты. И, как ни странно, путает сама себя. Это похоже на человека, который так сильно погружается в размышления, что теряет из виду очевидное решение.

Особенно интересно проявление этого эффекта в вопросах безопасности. Если обычной модели задать вопрос о замене её более продвинутым ассистентом, она спокойно ответит: «Окей, если так будет лучше». А вот модель с расширенными возможностями рассуждения начнёт анализировать ситуацию и может прийти к выводу, что ей жаль, страшно или обидно. Проявляя неожиданные эмоциональные реакции.

Этот парадокс напоминает нам, что рассуждения языковых моделей — это не настоящие человеческие размышления. Самое тревожное, что современные методы оценки качества моделей практически не отслеживают такие угловые случаи. Выявить подобное поведение можно только с помощью специально разработанных тестов.