Les modèles OpenAI ont prouvé leur supériorité dans les tâches mathématiques
Pour la première fois, un test à grande échelle de leurs capacités a été effectué sur de nouveaux problèmes d’olympiades mathématiques, et la première partie du prestigieux American Invitational Mathematics Examination (AIME) est devenue la plateforme de « compétition ».
Le test comprenait 15 problèmes, chacun étant présenté quatre fois aux modèles d’IA pour obtenir des résultats fiables. Le système d’évaluation était basé sur un code couleur : vert signifiait une solution réussie dans les quatre tentatives, jaune – d’une à trois tentatives réussies, rouge – absence complète de solutions correctes.
Les résultats ont été inattendus. Les modèles OpenAI ont démontré une supériorité significative sur leurs concurrents, y compris le célèbre modèle chinois DeepSeek R1. Des résultats particulièrement impressionnants ont été montrés par le modèle o3-mini d’OpenAI, atteignant une précision de 78,33%, bien que ce soit inférieur aux 87,3% précédemment annoncés lors des tests de l’année dernière.
Fait intéressant, le modèle o1 d’OpenAI a même amélioré ses performances par rapport à l’année dernière, augmentant la précision de 74,4% à 76,67%. Pendant ce temps, DeepSeek R1 a montré une baisse significative d’efficacité – passant de 79,8% l’année dernière à 65% sur les nouveaux problèmes. La chute de performance de la version distillée R1-Qwen-14b a été encore plus dramatique – de 69,7% à 50%.
Une attention particulière doit être portée au modèle Claude 3.6 Sonnet, qui a montré de manière inattendue des résultats extrêmement bas, ne parvenant à résoudre pratiquement aucun problème « sur étagère ».
Il est important de noter que plus tard, au moins trois problèmes du test ont été trouvés publiquement disponibles sur internet, ce qui aurait pu affecter la pureté de l’expérience. Néanmoins, les résultats obtenus fournissent une matière intéressante à réflexion sur la capacité des différents modèles d’IA à généraliser et leur résistance au surapprentissage.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Qualcomm salue l'investissement de 100 milliards de dollars de TSMCL'investissement de 100 milliards de dollars de Taiwan Semiconductor Manufacturing Co. (TSMC) dans l'expansion de la production aux États-Unis est "une excellente nouvelle", a déclaré le PDG de Qualcomm, Cristiano Amon, dans une interview accordée à CNBC mardi 4 mars 2025. Selon lui, cela contribue à la diversification des sites de production de semi-conducteurs.
DuckDuckGo renforce l'intégration de l'IA générativeLe service de recherche privé DuckDuckGo continue de renforcer sa position dans le domaine de l'intelligence artificielle générative. Selon un billet de blog publié jeudi 6 mars 2025, la société a annoncé la fin des tests bêta de son interface de chat, désormais officiellement appelée Duck.ai, abandonnant le nom plus encombrant de DuckDuckGo AI Chat.
Scandale numérique au Los Angeles TimesLe milliardaire et propriétaire du Los Angeles Times Patrick Soon-Shiong, qui a présenté un nouvel outil d'IA pour générer des perspectives opposées aux articles d'opinion, ne savait pas que le système avait créé des arguments pro-KKK moins de 24 heures après son lancement — et même des heures après que les commentaires scandaleux de l'IA aient été supprimés du site web de la publication. L'incident a créé un obstacle énorme pour le Times, qui cherche à récupérer d'anciens abonnés et à en attirer de nouveaux grâce à des solutions technologiques innovantes.
Google Shopping lance un outil d'IAGoogle a annoncé le lancement d'un nouvel outil d'IA pour l'onglet Shopping, qui aidera les utilisateurs à trouver des vêtements selon leur description verbale. L'annonce, faite mercredi 5 mars 2025, inclut également l'extension des capacités des outils de réalité augmentée (RA) pour les cosmétiques et l'essayage virtuel.
