Учёные нашли идиотский способ улучшить ответы нейросетей
Исследователи из Google случайно наткнулись на абсурдный лайфхак, который реально работает. Если повторять промпт дважды — то есть отправлять запрос не в виде обычного текста, а копировать его 2 раза подряд — качество ответов модели в 67% случаев статистически значимо улучшается.
Звучит как издевательство, но цифры не врут. Правда, есть 1 важный нюанс: это работает только для обычных моделей без цепочек рассуждений. С моделями, которые используют reasoning, эффект нейтральный или слегка положительный, так что применять смысла особо нет.
А теперь самое интересное — почему вообще это работает? Все мы уже выучили, что порядок токенов в промпте важен. И это потому, что большинство моделей обучаются каузально — то есть предыдущие токены не получают доступа к следующим. Тут та же логика. Грубо говоря, получается, что какие-то токены в промпте никогда не видят другие, а повторяя запрос, мы эту асимметрию устраняем — и качество растёт.
И вот тут начинается самое смешное. Авторы показывают, что количество генерируемых токенов от повтора промпта не растёт, как и задержка ответа. То есть лайфхак почти бесплатный.
Почему тогда для моделей с reasoning не подходит? Тут тоже есть объяснение. Просто они уже самостоятельно научились повторять промпт сами себе. Вы точно это замечали. То есть здесь ещё 1 повторение уже не даёт такого эффекта, а в случае с обычными моделями мы просто выносим этот трюк наружу.
Получается, самый тупой хак оказался рабочим.
