Une entreprise informatique virtuelle avec des agents d’IA n’a géré qu’un quart des tâches

Post Thumbnail

Des chercheurs de l’Université Carnegie-Mellon ont mené une expérience inhabituelle. En créant une entreprise informatique virtuelle où des agents d’intelligence artificielle travaillaient à la place des personnes. Les résultats se sont avérés assez intéressants, et maintenant je vais vous raconter ce qui en est ressorti.

L’équipe de scientifiques a lancé un environnement appelé The Agent Company. Une entreprise virtuelle de développement de logiciels. Dans celle-ci, les agents d’intelligence artificielle devaient effectuer toutes les mêmes choses qu’un spécialiste informatique ordinaire. Ils devaient écrire du code, utiliser le terminal, rechercher des informations dans le navigateur, travailler avec Google Drive. Ainsi que communiquer avec des collègues dans une messagerie et gérer des tâches dans Jira et GitLab.

Pour évaluer objectivement le travail de l’intelligence artificielle, les chercheurs ont appliqué un système de points de contrôle au lieu d’un simple « complété/non complété ». Le coût du travail de chaque modèle a également été pris en compte par le nombre de jetons utilisés. Les modèles de langage les plus modernes ont participé à l’expérience. Claude 3.5 Sonnet, Gemini-2.0 Flash, GPT-4-o, Gemini-1.5-Pro, Llama-3.3 et 3.1, Qwen-2.5 et autres.

Au total, les agents ont reçu 175 tâches de différents domaines. Développement de logiciels, gestion de projet, RH et autres directions. Selon les estimations, il faudrait environ 3000 heures à 20 personnes vivantes pour accomplir cette quantité de travail.

Et qu’est-il arrivé ? Même le meilleur des participants, Claude 3.5 Sonnet, n’a géré que 1/4 des responsabilités de base ! Gemini 2.0 Flash est arrivé en deuxième position, mais déjà avec un grand écart. Seulement 11,4% des tâches accomplies. Tous les autres modèles ont montré un résultat inférieur à 9%. Comment trouvez-vous les résultats ?

Fait intéressant, travailler avec GitLab et la programmation est venu assez facilement à l’intelligence artificielle. Mais les tâches les plus difficiles se sont avérées être des choses assez simples. Remplir des formulaires, naviguer sur des sites web, planifier des réunions et communiquer dans une messagerie. Étonnamment.

Il s’avère que malgré toutes les réalisations de l’intelligence artificielle, on est encore très loin de remplacer complètement les personnes dans le travail de bureau. Paradoxalement, les tâches que les gens considèrent comme difficiles, comme la programmation, se sont avérées plus faciles pour l’intelligence artificielle que les affaires quotidiennes. Qu’une personne gère en pilote automatique.

AIvengo > Avis > Une entreprise informatique virtuelle avec des agents d’IA n’a géré qu’un quart des tâches
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Anthropic a révélé accidentellement un document interne sur "l'âme" de Claude
Anthropic a révélé accidentellement "l'âme" de l'intelligence artificielle à un utilisateur. Et ce n'est pas une métaphore. C'est un document interne tout à fait concret.
Jensen Huang a ordonné aux employés de Nvidia d'utiliser l'IA partout
Jensen Huang a annoncé une mobilisation totale sous la bannière de l'intelligence artificielle à l'intérieur de Nvidia. Et ce n'est plus une recommandation. C'est une exigence.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.