Stability AI présente la transformation de photos 2D en scènes 3D

Stability AI a annoncé la sortie d’un modèle d’IA innovant appelé Stable Virtual Camera, capable de transformer des images bidimensionnelles en matériaux vidéo immersifs avec une profondeur et une perspective réalistes. Cette avancée technologique marque un progrès significatif dans le domaine de l’intelligence artificielle générative et de la cinématographie virtuelle.

Stable Virtual Camera représente un développement substantiel du concept de caméras virtuelles, traditionnellement utilisées dans la production cinématographique numérique et l’animation 3D. L’intégration de l’IA générative dans cet ensemble d’outils ouvre des possibilités sans précédent pour le contrôle et la personnalisation du contenu créé.

Les capacités techniques du nouveau modèle sont impressionnantes :

• Génération de « nouveaux angles » d’une scène basés sur un à 32 images sources.
• Création de vidéos avec des trajectoires dynamiques de mouvement de caméra.
• Prise en charge des modes de prise de vue prédéfinis : « Spiral », « Dolly Zoom », « Move » et « Pan ».
• Possibilité de travailler avec différents formats : carré (1:1), portrait (9:16) et paysage (16:9).
• Capacité à générer des séquences vidéo jusqu’à 1000 images.

Malgré les capacités impressionnantes, Stability met en garde contre les limitations potentielles de la version de recherche actuelle. Le modèle peut montrer une dégradation de la qualité lorsqu’il travaille avec des images contenant des personnes, des animaux ou des « textures dynamiques » comme l’eau. « Les scènes très ambitieuses, les trajectoires de caméra complexes traversant des objets ou des surfaces, et les objets de forme irrégulière peuvent provoquer un effet de scintillement, surtout lorsque les angles cibles diffèrent considérablement des images sources », note l’entreprise dans son blog.

Cette percée technologique survient pendant une période difficile pour Stability AI. L’entreprise, connue pour son modèle populaire de génération d’images Stable Diffusion, a attiré de nouveaux investissements l’année dernière de la part de figures importantes comme Eric Schmidt et le fondateur de Napster, Sean Parker, qui cherchent à restaurer l’entreprise. Il a été rapporté plus tôt que le cofondateur et ancien PDG de Stability, Emad Mostaque, a conduit l’entreprise à des problèmes financiers, entraînant des licenciements d’employés, l’échec d’un partenariat avec Canva et des préoccupations croissantes des investisseurs quant aux perspectives de l’entreprise.