Test Salesforce : Gemini 2.5 Pro ne résout que 58% des tâches business
Le test Salesforce CRMArena-Pro montre que même les modèles d’intelligence artificielle leaders font face à des limitations sérieuses lors de la résolution de tâches business quotidiennes.
Imaginez : le modèle phare Gemini 2.5 Pro ne gère avec succès que 58% des requêtes lors d’une seule sollicitation. Et que se passe-t-il avec un dialogue multi-étapes ? L’efficacité chute rapidement à 35% !
CRMArena-Pro teste les grands modèles de langage dans des conditions réelles de vente, service client et tarification. Les chercheurs ont créé 4280 tâches uniques selon 19 types d’opérations business en utilisant des données synthétiques Salesforce.
Particulièrement révélateurs sont les résultats dans le domaine des dialogues multi-étapes — un élément clé de toute interaction business. Presque la moitié des tentatives échouées de Gemini 2.5 Pro est liée à l’incapacité de demander des informations critiquement importantes. Les modèles qui posent plus de questions de clarification démontrent des résultats significativement meilleurs.
Les plus hautes performances ont été atteintes dans l’automatisation de processus de travail simples — 83% de succès dans le routage de requêtes de service support. Cependant, les tâches nécessitant une compréhension profonde du texte ou le suivi de règles complexes restent un défi sérieux pour les technologies modernes d’intelligence artificielle.
AIvengo >
Avis >
Test Salesforce : Gemini 2.5 Pro ne résout que 58% des tâches business
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
