Le benchmark le plus complexe pour l’IA est lancé
Un nouveau benchmark HUMANITY’S LAST EXAM a été présenté, comprenant 3000 questions difficiles dans des dizaines de domaines. Les questions ont été sélectionnées par un processus multi-étapes.
Parmi 13000 questions proposées où les principaux modèles d’IA montraient de mauvais résultats, les experts en ont sélectionné 3000, les modifiant pour assurer qualité et clarté.
Les auteurs des 50 meilleures questions ont reçu 5000 dollars chacun. Les 500 questions suivantes ont rapporté 500 dollars à leurs créateurs. Les leaders du benchmark – o 1 et R 1 montrent des résultats inférieurs à 10%. R 1 mène la partie textuelle mais ne peut traiter les images, représentant 10% du test.
HUMANITY’S LAST EXAM vise à évaluer les limites des capacités de l’IA, les tests existants ayant été maîtrisés par des modèles avec plus de 90% de précision. Les premiers résultats sont choquants : même GPT-4 o n’a montré que 3,3% de précision, le meilleur résultat étant de 9,4%.
Le benchmark évalue aussi l’auto-calibration des modèles – leur capacité à évaluer la confiance dans leurs propres réponses. R 1 mène avec une avance significative, mais l’erreur de calibration dépasse toujours 80%.
Les auteurs s’attendent à ce que les nouveaux modèles puissent atteindre 50% de précision sur ce nouveau test difficile d’ici la fin de l’année. Apparemment, pour battre l’IA aux tests, il suffit de payer des gens pour créer des questions vraiment difficiles.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Qualcomm salue l'investissement de 100 milliards de dollars de TSMCL'investissement de 100 milliards de dollars de Taiwan Semiconductor Manufacturing Co. (TSMC) dans l'expansion de la production aux États-Unis est "une excellente nouvelle", a déclaré le PDG de Qualcomm, Cristiano Amon, dans une interview accordée à CNBC mardi 4 mars 2025. Selon lui, cela contribue à la diversification des sites de production de semi-conducteurs.
DuckDuckGo renforce l'intégration de l'IA générativeLe service de recherche privé DuckDuckGo continue de renforcer sa position dans le domaine de l'intelligence artificielle générative. Selon un billet de blog publié jeudi 6 mars 2025, la société a annoncé la fin des tests bêta de son interface de chat, désormais officiellement appelée Duck.ai, abandonnant le nom plus encombrant de DuckDuckGo AI Chat.
Scandale numérique au Los Angeles TimesLe milliardaire et propriétaire du Los Angeles Times Patrick Soon-Shiong, qui a présenté un nouvel outil d'IA pour générer des perspectives opposées aux articles d'opinion, ne savait pas que le système avait créé des arguments pro-KKK moins de 24 heures après son lancement — et même des heures après que les commentaires scandaleux de l'IA aient été supprimés du site web de la publication. L'incident a créé un obstacle énorme pour le Times, qui cherche à récupérer d'anciens abonnés et à en attirer de nouveaux grâce à des solutions technologiques innovantes.
Google Shopping lance un outil d'IAGoogle a annoncé le lancement d'un nouvel outil d'IA pour l'onglet Shopping, qui aidera les utilisateurs à trouver des vêtements selon leur description verbale. L'annonce, faite mercredi 5 mars 2025, inclut également l'extension des capacités des outils de réalité augmentée (RA) pour les cosmétiques et l'essayage virtuel.
