Nvidia open-source son outil Audio2Face pour animer en temps réel les visages 3D avec la voix

Nvidia met à disposition de tous son outil d’animation faciale par IA, Audio2Face. Cette technologie, qui génère des animations faciales réalistes pour des avatars 3D à partir d’un simple fichier audio, est désormais open source. Cette décision permet aux développeurs de l’intégrer librement à leurs jeux, applications ou projets interactifs. Audio2Face fonctionne en analysant les caractéristiques acoustiques du son — comme le ton, la fréquence et les variations de voix — pour produire des données d’animation précises. Ces données sont ensuite appliquées aux expressions faciales et aux mouvements des lèvres d’un avatar 3D, créant ainsi une synchronisation labiale naturelle et convaincante. Grâce à cette solution, les développeurs peuvent désormais concevoir des personnages 3D réalistes, que ce soit pour du contenu préenregistré ou pour des diffusions en direct, comme les livestreams. Plusieurs studios ont déjà expérimenté Audio2Face dans leurs projets. C’est notamment le cas de Farm51, le développeur de Chernobylite 2: Exclusion Zone, ainsi que des équipes derrière l’édition évoluée de Alien: Rogue Incursion. Ces utilisations montrent déjà le potentiel de l’outil dans des environnements de jeu complexes et immersifs. En plus de libérer les modèles d’Audio2Face et les kits de développement logiciel (SDK), Nvidia rend également accessible le cadre d’entraînement du modèle. Cette ouverture permet aux utilisateurs de personnaliser et d’adapter les algorithmes à leurs propres besoins — par exemple, pour s’adapter à des styles vocaux spécifiques, à des langues différentes ou à des types d’avatars particuliers. Cette initiative s’inscrit dans une stratégie plus large de Nvidia visant à stimuler l’innovation dans le domaine de la création numérique, en offrant des outils puissants et accessibles aux développeurs du monde entier. En rendant Audio2Face open source, la société accélère l’adoption de l’intelligence artificielle dans la création de contenus 3D, tout en ouvrant la voie à de nouvelles formes d’interaction humaine avec les avatars numériques.