Kandinsky научился лепить видео со звуком

ИИ-видео всё меньше смахивает на немой клип. «Сбер» показал Kandinsky 6.0 Video — модель, которая разом генерит картинку и звук: речь персонажей, музыку и шумы окружения.

Пока у технологии жёсткий потолок: ролик тянется не дольше пяти секунд. Разработчики обещают этот предел поднять. Сцену можно задать текстом или подкинуть первый кадр и описать, что происходит.

Дальше самое занятное. Модель синхронизирует движения губ с репликами героев и лепит звуковую дорожку с частотой 44 кГц. Звук можно и отключить. Если объект системе незнаком, она подбирает референсы, включая персонажей, появившихся уже после обучения модели.

В семейство вошли две версии: Lite на 3 млрд параметров и Pro на 30 млрд. Они орудуют связанными модулями, которые обмениваются данными для согласования картинки и звука. Обе работают с текстовым запросом и начальным изображением.

В «ГигаЧате» можно выбрать SD, HD или Full HD. Последнее разрешение достаётся отдельной модели Kandinsky 6.0 Video Super-Resolution: она раздувает исходное видео с 864 × 480 до 1920 × 1080 пикселей.

Но «Сбер» не зациклился на сервисе. Код и веса выложены под лицензией MIT, плюс вышли интеграция для Diffusers и ускоренные версии моделей. Для запуска хватит графического ускорителя с 16 ГБ видеопамяти.

Главный вопрос теперь в том, насколько длинными станут такие ролики. Снимут разработчики ограничение в пять секунд — и технология откроет для бизнеса куда больше практических сценариев.