CodeClash a montré énorme écart entre IA et programmeur humain

CodeClash a été présenté. C’est un nouveau benchmark pour évaluer les compétences en programmation des grands modèles de langage. Et il a montré : l’écart avec le niveau humain est énorme.

Les auteurs ont remarqué un problème fondamental des benchmarks actuels. Ils sont liés à des tâches spécifiques, clairement formulées. À savoir, corriger certains bugs ou écrire des tests ponctuels. Cependant, les vrais programmeurs ne passent pas toute la journée à résoudre des tâches isolées.

Ainsi CodeClash est apparu. Un benchmark dans lequel les grands modèles de langage rivalisent dans des tournois à plusieurs tours pour créer la meilleure base de code pour atteindre un objectif. Dans ce cas en utilisant l’exemple de 6 jeux, mais en général ça peut être n’importe quoi où on peut faire des simulations et mesurer la qualité. C’est-à-dire que ce n’est pas le modèle lui-même qui joue, mais le code qu’il écrit et améliore.

Chaque tour se déroule en 2 phases : les agents éditent leur code, puis leurs bases de code rivalisent les unes contre les autres. Les gagnants sont déterminés selon les critères du jeu spécifique. Chaque tour mène 1000 jeux.

Et puis commencent les résultats tristes. L’écart avec le niveau humain s’est avéré significatif. Les auteurs ont pris la meilleure solution pour l’un des jeux appelé gigachad. Le modèle Claude Sonnet 4.5 n’a gagné aucun des 150 tours contre lui. C’est 0 sur 37,5 mille simulations. Pendant ce temps le bot humain est resté inchangé tout au long des tours, il n’a pas été adapté.

Il s’avère que les modèles de langage résolvent bien les tâches isolées. Mais quand il s’agit d’écriture de code réel qui doit rivaliser et s’améliorer – ils perdent complètement contre l’humain.