Tencent открыла исходный код HunyuanPortrait для анимации фотографий
Компания Tencent опубликовала исходный код и весовые коэффициенты своего проекта HunyuanPortrait – системы создания реалистичных анимированных портретов. Это решение, основанное на диффузионных моделях, позволяет переносить движения с исходного видео на статичное изображение, фактически «оживляя» фотографии с впечатляющей степенью реалистичности.
Техническая архитектура HunyuanPortrait представляет собой комплексный ансамбль специализированных моделей. SVD для генерации видеопоследовательностей. DiNOv2 для извлечения визуальных признаков. Arc2Face для работы с лицевыми выражениями. И YoloFace для надёжного обнаружения лиц. Такая многокомпонентная структура обеспечивает более точный контроль над анимацией и плавность переходов между кадрами по сравнению с существующими аналогами.
Текущая реализация требует 24 гигабайт видеопамяти для запуска процесса инференса, что делает технологию доступной для относительно широкого круга энтузиастов и профессионалов, имеющих в распоряжении современные графические ускорители. Важно отметить, что система пока не поддерживает режим «text-to-motion», ограничиваясь переносом движений с референсного видео.
Открытый доступ к коду и весам модели открывает новую главу в развитии технологий цифровой анимации, потенциально демократизируя инструменты, ранее доступные лишь крупным студиям и технологическим гигантам.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
UBTech отправит роботов Walker S2 служить на границу Китая за $37 млнКитайская компания UBTech выиграла контракт на $37 миллионов. И отправит человекоподобных роботов Walker S2 служить на границу Китая с Вьетнамом. South China Morning Post сообщает, что роботы будут взаимодействовать с туристами и персоналом, выполнять логистические операции, досматривать грузы и патрулировать местность. И что характерно — они умеют самостоятельно менять свою батарею.
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
