Test Salesforce : Gemini 2.5 Pro ne résout que 58% des tâches business
Le test Salesforce CRMArena-Pro montre que même les modèles d’intelligence artificielle leaders font face à des limitations sérieuses lors de la résolution de tâches business quotidiennes.
Imaginez : le modèle phare Gemini 2.5 Pro ne gère avec succès que 58% des requêtes lors d’une seule sollicitation. Et que se passe-t-il avec un dialogue multi-étapes ? L’efficacité chute rapidement à 35% !
CRMArena-Pro teste les grands modèles de langage dans des conditions réelles de vente, service client et tarification. Les chercheurs ont créé 4280 tâches uniques selon 19 types d’opérations business en utilisant des données synthétiques Salesforce.
Particulièrement révélateurs sont les résultats dans le domaine des dialogues multi-étapes — un élément clé de toute interaction business. Presque la moitié des tentatives échouées de Gemini 2.5 Pro est liée à l’incapacité de demander des informations critiquement importantes. Les modèles qui posent plus de questions de clarification démontrent des résultats significativement meilleurs.
Les plus hautes performances ont été atteintes dans l’automatisation de processus de travail simples — 83% de succès dans le routage de requêtes de service support. Cependant, les tâches nécessitant une compréhension profonde du texte ou le suivi de règles complexes restent un défi sérieux pour les technologies modernes d’intelligence artificielle.
