Salesforce-Test: Gemini 2.5 Pro löst nur 58% der Geschäftsaufgaben
Der Salesforce CRMArena-Pro Test zeigt, dass selbst führende Modelle künstlicher Intelligenz auf ernste Beschränkungen stoßen bei der Lösung alltäglicher Geschäftsaufgaben.
Stellen Sie sich vor: das Flaggschiff-Modell Gemini 2.5 Pro bewältigt erfolgreich nur 58% der Anfragen bei einmaliger Anfrage. Und was passiert bei mehrstufigem Dialog? Die Effizienz fällt steil auf 35%!
CRMArena-Pro testet große Sprachmodelle unter realen Bedingungen von Verkauf, Kundenservice und Preisgestaltung. Die Forscher erstellten 4280 einzigartige Aufgaben nach 19 Typen von Geschäftsoperationen unter Verwendung synthetischer Salesforce-Daten.
Besonders aufschlussreich sind die Ergebnisse im Bereich mehrstufiger Dialoge — einem Schlüsselelement jeder Geschäftsinteraktion. Fast die Hälfte der gescheiterten Versuche von Gemini 2.5 Pro hängt mit der Unfähigkeit zusammen, kritisch wichtige Informationen anzufordern. Modelle, die mehr präzisierende Fragen stellen, zeigen deutlich bessere Ergebnisse.
Die höchsten Leistungen wurden bei der Automatisierung einfacher Arbeitsabläufe erreicht — 83% Erfolg beim Routing von Anfragen im Support-Service. Jedoch bleiben Aufgaben, die tiefes Textverständnis oder das Befolgen komplexer Regeln erfordern, eine ernste Herausforderung für moderne Technologien künstlicher Intelligenz.
AIvengo >
Bewertungen >
Salesforce-Test: Gemini 2.5 Pro löst nur 58% der Geschäftsaufgaben
Почитать из последнего
UBTech wird Roboter Walker S2 für $37 Mio. an die Grenze Chinas schicken
Das chinesische Unternehmen UBTech gewann einen Vertrag über $37 Millionen. Und wird menschenähnliche Roboter Walker S2 zum Dienst an der Grenze Chinas zu Vietnam schicken. South China Morning Post berichtet, dass die Roboter mit Touristen und Personal interagieren, logistische Operationen durchführen, Fracht inspizieren und das Gelände patrouillieren werden. Und bezeichnenderweise — sie können selbstständig ihre Batterie wechseln.
KI-Chatbots generieren Inhalte, die Essstörungen verschlimmern
Eine gemeinsame Studie der Stanford University und des Center for Democracy and Technology zeigte ein beunruhigendes Bild. Chatbots mit künstlicher Intelligenz stellen ein ernsthaftes Risiko für Menschen mit Essstörungen dar. Wissenschaftler warnen, dass neuronale Netze schädliche Ratschläge zu Diäten verteilen. Sie schlagen Wege vor, die Störung zu verbergen und generieren "inspirierenden Abnehm-Content", der das Problem verschlimmert.
OpenAGI veröffentlichte das Modell Lux, das Google und OpenAI überholt
Das Startup OpenAGI veröffentlichte das Modell Lux zur Computersteuerung und behauptet, dass dies ein Durchbruch ist. Nach Benchmarks überholt das Modell um eine ganze Generation Analoga von Google, OpenAI und Anthropic. Außerdem arbeitet es schneller. Etwa 1 Sekunde pro Schritt statt 3 Sekunden bei Konkurrenten. Und 10 Mal günstiger in den Kosten pro Verarbeitung von 1 Token.
