Banuba révolutionne la création vidéo avec une IA de lip-sync ultra-réaliste intégrée à son SDK de montage
Banuba, acteur majeur des technologies de réalité augmentée (RA), annonce le développement d'une fonctionnalité révolutionnaire de génération de synchronisation labiale par intelligence artificielle, intégrée à son SDK d'édition vidéo. Ce progrès marque une avancée majeure dans la création de vidéos IA hyper-réalistes, permettant aux personnes présentes à l'écran de reproduire avec une précision inédite les paroles prononcées ou les chansons interprétées, avec un naturel exceptionnel. « Nous entrons dans un nouvel ère du récit audiovisuel interactif piloté par l’IA », déclare Anton Liskevich, CPO et co-fondateur de Banuba. « Cette fonction de synchronisation labiale réduit considérablement les délais et les coûts de production, tout en libérant une créativité sans précédent. » Grâce à des réseaux neuronaux avancés, la technologie analyse une piste audio fournie, en décodant finement les phonèmes, les rythmes et les intonations de la parole ou du chant. Elle génère alors automatiquement les mouvements faciaux correspondants : formes des lèvres, position de la langue, mouvement du menton. Ce traitement permet d’éviter l’effet « uncanny valley » souvent observé avec les personnages numériques, offrant ainsi des performances crédibles et immersives. Ce qui distingue davantage cette solution, c’est son niveau de contrôle créatif. Les utilisateurs peuvent désormais entrer des prompts textuels pour modifier d'autres éléments du comportement du personnage : gestes, mouvements de tête, expression émotionnelle. Par exemple, une instruction comme « parler avec assurance en utilisant des gestes ouverts » ou « chanter tristement en regardant vers le bas » permet de façonner dynamiquement la performance sans recourir à l’animation manuelle. Cette fonctionnalité s’inscrit pleinement dans les usages émergents : création de « virtual influencers », contenus éducatifs interactifs, vidéos marketing personnalisées, expériences sociales immersives. Elle transforme la manière dont les développeurs conçoivent des contenus audiovisuels, en rendant la production plus rapide, plus accessible et plus expressive. Le SDK d’édition vidéo Banuba est une solution tout-en-un pour l’édition vidéo et les effets visuels. Il peut être intégré en moins de huit minutes, offrant aux développeurs les outils nécessaires pour permettre à leurs utilisateurs de créer des contenus impressionnants sans complexité technique. Parmi ses fonctionnalités clés : suivi facial avancé, effets AR, fonds virtuels, retouche vidéo en temps réel, et désormais, cette puissante synchronisation labiale par IA. Fondée il y a plus de neuf ans, Banuba est un pionnier dans les domaines de l’intelligence artificielle, du suivi facial, de la simulation de maquillage et de la mise en scène virtuelle. L’entreprise propose des kits de développement logiciel (SDK) pour la RA et l’édition vidéo, ainsi que des solutions prêtes à l’emploi pour les essais virtuels sur le visage, les cheveux et les mains.
