Тест Salesforce: Gemini 2.5 Pro решает лишь 58% бизнес-задач

Тест Salesforce CRMArena-Pro показывает, что даже ведущие модели искусственного интеллекта сталкиваются с серьезными ограничениями при решении повседневных бизнес-задач.

Представьте: флагманская модель Gemini 2.5 Pro успешно справляется лишь с 58% запросов при однократном обращении. А что происходит при многоэтапном диалоге? Эффективность стремительно падает до 35%!

CRMArena-Pro тестирует большие языковые модели в реальных условиях продаж, обслуживания клиентов и ценообразования. Исследователи создали 4280 уникальных задач по 19 типам бизнес-операций, используя синтетические данные Salesforce.

Особенно показательны результаты в области многоэтапных диалогов — ключевого элемента любого бизнес-взаимодействия. Почти половина неудачных попыток Gemini 2.5 Pro связана с неспособностью запросить критически важную информацию. Модели, задающие больше уточняющих вопросов, демонстрируют значительно лучшие результаты.

Самые высокие показатели достигнуты в автоматизации простых рабочих процессов — 83% успеха при маршрутизации запросов в службу поддержки. Однако задачи, требующие глубокого понимания текста или следования сложным правилам, остаются серьезным вызовом для современных технологий искусственного интеллекта.