Google научила эмбеддинги переваривать сразу пять типов данных

Google порешила, что эмбеддингам хватит возиться с одним текстом. Компания выкатила вторую версию EmbeddingGemma: теперь система сваливает в общее векторное пространство текст, код, изображения, видео и аудио. Так что на вход можно подавать сразу несколько типов данных.

Внутри модель стала куда занятнее. EmbeddingGemma 2 несёт 740M параметров, причём текстовая часть занимает 270M. Энкодеры картинок и звука подключаются отдельно, когда понадобятся, вместо того чтобы вечно висеть в памяти.

Подрос и объём информации, который модель переваривает за раз. Контекст раздули до 8K токенов — этого, по данным Google, хватает примерно на 5,5 минуты аудио или 29 изображений. То есть система уже заточена не только под отдельные фразы, но и под смешанные наборы данных.

При этом Google не стала жертвовать тем, что уже работало. На текстовых задачах качество удержалось на уровне первой версии, зато работа с кодом заметно подтянулась. Компания утверждает, что среди мультимодальных эмбеддинговых моделей размером до 1B параметров EmbeddingGemma 2 показывает лучший результат.

И вот тут начинается самое интересное для бизнеса. Google открыла веса модели по лицензии Apache 2.0, так что разработчики могут крутить её без закрытого доступа. Получит такой подход распространение — и поиск с обработкой данных станут сподручнее там, где текст, картинки, звук и код надо анализировать в одной куче.