Tencent abrió código fuente de HunyuanPortrait para animación de fotos
La compañía Tencent publicó código fuente y coeficientes de peso de su proyecto HunyuanPortrait – un sistema para crear retratos animados realistas. Esta solución, basada en modelos de difusión, permite transferir movimientos de video fuente a imagen estática, esencialmente «dando vida» a fotografías con grado impresionante de realismo.
La arquitectura técnica de HunyuanPortrait representa un conjunto integral de modelos especializados. SVD para generar secuencias de video. DiNOv2 para extraer características visuales. Arc2Face para trabajar con expresiones faciales. Y YoloFace para detección confiable de rostros. Tal estructura multicomponente proporciona control más preciso sobre animación y suavidad de transiciones entre cuadros comparado con análogos existentes.
La implementación actual requiere 24 gigabytes de memoria de video para ejecutar proceso de inferencia, lo que hace la tecnología accesible para círculo relativamente amplio de entusiastas y profesionales que tienen a su disposición aceleradores gráficos modernos. Es importante notar que el sistema aún no soporta modo «text-to-motion», limitándose a transferir movimientos de video de referencia.
Acceso abierto a código y pesos del modelo abre nuevo capítulo en desarrollo de tecnologías de animación digital, potencialmente democratizando herramientas previamente accesibles solo para grandes estudios y gigantes tecnológicos.
