Запущен первый в мире MLLM-судья на базе Google Gemini

Компания Patronus AI объявила о запуске первой в отрасли технологии MLLM-as-a-Judge (мультимодальная языковая модель в роли судьи), призванной произвести революцию в оценке AI-систем, работающих с изображениями и текстом. Крупнейший маркетплейс винтажных и handmade товаров Etsy уже внедряет эту инновационную технологию для верификации точности подписей к изображениям продуктов.

В эксклюзивном интервью VentureBeat сооснователь Patronus AI Ананд Каннаппан поделился подробностями сотрудничества с Etsy: «Мы невероятно рады объявить, что Etsy стал одним из наших первых клиентов. Их маркетплейс содержит сотни миллионов товаров ручной работы и винтажных изделий со всего мира. Команда AI Etsy стремилась использовать генеративный искусственный интеллект для автоматического создания подписей к изображениям, обеспечивая их корректность при масштабировании на всю глобальную пользовательскую базу».

Ключевой особенностью новой технологии Judge-Image стало использование модели Google Gemini вместо GPT-4V от OpenAI. Это решение было принято после тщательного сравнительного анализа доступных альтернатив. «Мы заметили, что GPT-4V демонстрировала более выраженную склонность к эгоцентричности, тогда как Gemini показала себя менее предвзятой и продемонстрировала более справедливый подход к оценке различных пар входных и выходных данных», — пояснил Каннаппан. «Это подтверждается равномерным распределением оценок по различным источникам».

Новая технология направлена на решение критически важной проблемы в сфере искусственного интеллекта — выявление и минимизацию галлюцинаций и проблем с надежностью в мультимодальных AI-приложениях. Для Etsy, чья бизнес-модель строится на доверии между продавцами и покупателями, точность описаний товаров является ключевым фактором успеха.

Запуск Judge-Image знаменует важный шаг в развитии технологий верификации AI-генерируемого контента. По мере того как все больше компаний внедряют генеративный искусственный интеллект в свои бизнес-процессы, потребность в надежных инструментах оценки и контроля качества становится все более актуальной. Успешное внедрение технологии на платформе Etsy может стать показательным примером для других компаний электронной коммерции и технологических платформ.