Нейросети решают задачи лучше, когда спорят сами с собой

Post Thumbnail

Исследователи из Google и Чикагского университета выяснили, почему reasoning-модели типа DeepSeek-R1 и другие так долго думают перед ответом. Оказывается, они буквально устраивают внутренний спор между несколькими персонажами – экспертами с разными взглядами. Которые задают вопросы, не соглашаются и ищут компромисс. Учёные назвали это общество мыслей. Звучит как раздвоение личности, но работает убийственно эффективно.

Анализ больше 8000 задач показал, что reasoning-модели используют паттерны диалога, смену перспективы, конфликт точек зрения и примирение. Обычные модели тех же размеров выдают монолог без внутренней дискуссии. Причём разница не в длине ответа. Даже при одинаковом количестве токенов reasoning-модели спорят сами с собой гораздо чаще. Они научились создавать мозговой штурм внутри себя.

Чтобы проверить связь, исследователи нашли фичу разговорного удивления в активациях – нейронный паттерн, срабатывающий на слова типа «о!» и «подожди» при смене точки зрения. Когда усилили эту фичу, точность на арифметических задачах подскочила вдвое. С 27 до 55 процентов. Подавление ухудшило результаты. Модель стала чаще проверять свои шаги, возвращаться к предыдущим решениям и разбивать задачу на части.

Получается, внутренний спор делает ИИ умнее. И чем больше голосов в голове нейросети, тем точнее ответы. Возможно это объясняет, почему reasoning-модели так резко превзошли обычные при схожем размере.

Почитать из последнего
Из-за ИИ клавиатуры исчезнут из офисов
Лондонская школа экономики совместно с Jabra выдала любопытный прогноз. К 28-му году голосовой ИИ станет стандартом в офисах. А поколение Альфа — рождённые после 2010 года — возможно, никогда не узнает, каково это писать email руками. Но пока мне не верится, что клавиатуры действительно исчезнут.
ChatGPT обогнал TikTok и Disney
ChatGPT заработал 3 миллиарда долларов на мобильных подписках. Цифра впечатляет, но ещё интереснее скорость, с которой её достигли.
Собаки-поводыри скоро станут робо-псами с ИИ
Инженеры из США и Южной Кореи превратили робо-пса Unitree Go2 в собаку-поводыря. Модель ИИ GuideNav использует одну обычную камеру вместо дорогих датчиков LiDAR. И это работает.
Американцы заваливают китайский ИИ деньгами
Американские инвесторы завалили китайских разработчиков ИИ деньгами. Несмотря на геополитическое противостояние. Получается, прибыль побеждает политику.
OpenAI и Anthropic внедряют распознавание детей
Компании OpenAI и Anthropic внедряют технологии распознавания несовершеннолетних пользователей чат-ботов. OpenAI обновила правила взаимодействия ChatGPT с пользователями от 13 до 17 лет. Anthropic работает над системой идентификации и блокировки пользователей младше 18.