CodeClash показал огромный разрыв между ИИ и человеческим программистом

Представлен CodeClash. Это новый бенчмарк для оценки навыков программирования у больших языковых моделей. И он показал: разрыв с человеческим уровнем огромен.

Авторы заметили фундаментальную проблему текущих бенчмарков. Они завязаны на конкретных, чётко сформулированных задачах. А именно, на исправление определённых ошибок или написание точечных тестов. Однако реальные программисты не занимаются весь день решением изолированных задач.

Так появился CodeClash. Бенчмарк, в котором большие языковые модели соревнуются в многораундовых турнирах за создание лучшей кодовой базы для достижения некоторой цели. В данном случае на примере 6 игр, но в целом это может быть что угодно, где можно делать симуляции и замерять качество. То есть играет не сама модель, а код, который она пишет и улучшает.

Каждый раунд проходит в 2 фазы: агенты редактируют свой код, затем их кодовые базы соревнуются друг с другом. Победители определяются на основе критериев конкретной игры. Каждый раунд проводят по 1000 игр.

А дальше начинаются печальные результаты. Разрыв с человеческим уровнем оказался значительным. Авторы взяли топ-решение для 1 из игр под названием gigachad. Модель Claude Sonnet 4.5 не выиграла ни 1 из 150 раундов против него. Это 0 из 37,5 тыс симуляций. При этом человеческий бот оставался неизменным на протяжении всех раундов, его никак не адаптировали.

Получается, что языковые модели хорошо решают изолированные задачи. Но когда дело доходит до реального написания кода, который должен конкурировать и улучшаться — они проигрывают человеку всухую.