野生環境下での音声から口唇生成に必要なのはリップシンクの専門家だけです

本研究では、任意のアイデンティティの話している顔の動画を目標となる音声セグメントに合わせてリップシンクさせる問題を調査しています。現行の手法は、静止画や訓練段階で特定の人々が登場する動画において正確な唇の動きを生成することに優れています。しかし、動的な制約のない話している顔の動画における任意のアイデンティティの唇の動きを正確に変形させることができず、結果として動画の大部分が新しい音声とずれてしまうという課題があります。私たちはこの問題に関連する主要な要因を特定し、強力なリップシンク識別子から学習することで解決しました。次に、制約のない動画でのリップシンク精度を正確に測定するため的新しい厳密な評価ベンチマークと指標を提案します。我々が設定した困難なベンチマークにおける広範な定量的評価により、Wav2Lipモデルによって生成された動画のリップシンク精度が実際の同期済み動画とほぼ同等であることが示されました。当ウェブサイト（\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild}）では、Wav2Lipモデルおよび評価ベンチマークによる影響を明確に示すデモ動画をご覧いただけます。また、コードとモデルはGitHubリポジトリ（\url{github.com/Rudrabha/Wav2Lip}）で公開されており、インタラクティブデモもこちら（\url{bhaasha.iiit.ac.in/lipsync}）で試すことができます。