Pour la première fois, un test à grande échelle de leurs capacités a été effectué sur de nouveaux problèmes d’olympiades mathématiques, et la première partie du prestigieux American Invitational Mathematics Examination (AIME) est devenue la plateforme de « compétition ».
Le test comprenait 15 problèmes, chacun étant présenté quatre fois aux modèles d’IA pour obtenir des résultats fiables. Le système d’évaluation était basé sur un code couleur : vert signifiait une solution réussie dans les quatre tentatives, jaune – d’une à trois tentatives réussies, rouge – absence complète de solutions correctes.
Les résultats ont été inattendus. Les modèles OpenAI ont démontré une supériorité significative sur leurs concurrents, y compris le célèbre modèle chinois DeepSeek R1. Des résultats particulièrement impressionnants ont été montrés par le modèle o3-mini d’OpenAI, atteignant une précision de 78,33%, bien que ce soit inférieur aux 87,3% précédemment annoncés lors des tests de l’année dernière.
Fait intéressant, le modèle o1 d’OpenAI a même amélioré ses performances par rapport à l’année dernière, augmentant la précision de 74,4% à 76,67%. Pendant ce temps, DeepSeek R1 a montré une baisse significative d’efficacité – passant de 79,8% l’année dernière à 65% sur les nouveaux problèmes. La chute de performance de la version distillée R1-Qwen-14b a été encore plus dramatique – de 69,7% à 50%.
Une attention particulière doit être portée au modèle Claude 3.6 Sonnet, qui a montré de manière inattendue des résultats extrêmement bas, ne parvenant à résoudre pratiquement aucun problème « sur étagère ».
Il est important de noter que plus tard, au moins trois problèmes du test ont été trouvés publiquement disponibles sur internet, ce qui aurait pu affecter la pureté de l’expérience. Néanmoins, les résultats obtenus fournissent une matière intéressante à réflexion sur la capacité des différents modèles d’IA à généraliser et leur résistance au surapprentissage.
