NVIDIA、AI音声からリアルな3D顔面アニメーションを生成するAudio2Faceをオープンソース化

NVIDIAは、音声からリアルな顔面アニメーションを生成するAI技術「Audio2Face」のソースコードを公開し、誰でも利用可能にした。このツールは音声入力に基づき、3Dアバターの口元の動きや表情を自動で再現する。音声の「音響特徴」を解析し、それに応じたアニメーションデータを生成することで、リアルな表情表現を実現している。 Audio2Faceは、事前に脚本されたコンテンツやライブストリーミングなど、さまざまなシーンで活用できる。すでに、『Chernobylite 2: Exclusion Zone』を開発するFarm51や、『Alien: Rogue Incursion Evolved Edition』の開発チームが実際のゲーム開発に採用している。 NVIDIAは、Audio2Faceのモデルやソフトウェア開発キット（SDK）に加え、学習に使ったフレームワークもオープンソース化。これにより、開発者は自分の用途に合わせてモデルをカスタマイズできる。たとえば、特定の言語や顔の特徴に最適化したアニメーション生成が可能になる。 この取り組みは、ゲーム、バーチャルインフルエンサー、仮想会議ツールなど、3Dキャラクターのリアルな表現が求められる分野での開発を大幅に加速させる。NVIDIAは、AIを活用したクリエイティブツールの普及を推進しており、今後も開発者コミュニティの活用を支援していく方針だ。