Темпы развития ИИ удвоились, но бенчмаркам никто не верит

Epoch AI опубликовала обзор за 2025 год. И вот вам парадокс современной индустрии ИИ. С одной стороны, прогресс резко ускорился. Скорость улучшения показателей SOTA-моделей выросла почти в 2 раза. С 8 до 15 пунктов индекса производительности за год. Драйверами роста называют массовый переход к ризонинг-моделям и фокус на обучении с подкреплением. Всё круто, всё быстро, всё прекрасно.

Но отчёт указывает на серьёзную проблему: результаты тестов становятся всё менее репрезентативными. Даже при использовании одинаковых бенчмарков прямое сравнение моделей затруднено из-за различий в промптах, параметрах сэмплирования и программных обвязках.

Особенно сильно это искажает оценку агентов на ИИ, а нестабильность API провайдеров добавляет шум в данные. Делая метрики новых моделей уязвимыми для ошибок измерения. То есть получается абсурдная ситуация: модели становятся лучше в 2 раза быстрее, но никто толком не может сказать, насколько именно они лучше, потому что методики измерения разные.

Эксперты рекомендуют разработчикам и исследователям уделять больше внимания проверяемости и воспроизводимости результатов, а также разрабатывать универсальные методологии оценки. Но кто их будет слушать? Каждая компания хочет показать, что её модель лучше всех, поэтому выбирает такие параметры тестирования, при которых она выигрывает.

Получается замкнутый круг: прогресс есть, цифры растут, но доверия к этим цифрам всё меньше. Индустрия мчится вперёд, даже не понимая толком, где она находится и насколько далеко продвинулась.