Nouveau benchmark a montré l’échec de l’IA dans les tâches de programmation olympiques
Un nouveau benchmark LiveCodeBench Pro pour évaluer les capacités de programmation de l’intelligence artificielle est apparu. Lien dans la description. Il inclut les tâches les plus difficiles et fraîches des compétitions populaires. Olympiade internationale en informatique et Championnat mondial de programmation. Les tâches ont été marquées par les gagnants et lauréats de ces compétitions eux-mêmes.
Les résultats montrent une image intéressante. Même le meilleur modèle o4-mini-high atteint seulement une note de 2100. Pour comparaison, les programmeurs grands maîtres ont environ 2700. L’écart reste énorme.
Les modèles ne peuvent gérer que les tâches simples et certaines moyennes. Sur les assignments vraiment difficiles, tous les modèles de langage montrent 0 absolu. Ils résolvent assez bien les tâches de combinatoire et programmation dynamique. Mais en théorie des jeux et travail avec cas limites, leur niveau est comme un expert moyen ou même étudiant.
Curieuse est la différence dans les types d’erreurs. Les gens font normalement des erreurs d’implémentation à cause d’inattention ou problèmes de syntaxe. Dans les modèles IA, les problèmes surgissent plus souvent au niveau de l’idée de solution elle-même. Donc aucun remplacement pour les programmeurs olympiques n’est prévu encore.
AIvengo >
Avis >
Nouveau benchmark a montré l’échec de l’IA dans les tâches de programmation olympiques
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
