HyperAIHyperAI

Command Palette

Search for a command to run...

野生環境下での音声から口唇生成に必要なのはリップシンクの専門家だけです

概要

本研究では、任意のアイデンティティの話している顔の動画を目標となる音声セグメントに合わせてリップシンクさせる問題を調査しています。現行の手法は、静止画や訓練段階で特定の人々が登場する動画において正確な唇の動きを生成することに優れています。しかし、動的な制約のない話している顔の動画における任意のアイデンティティの唇の動きを正確に変形させることができず、結果として動画の大部分が新しい音声とずれてしまうという課題があります。私たちはこの問題に関連する主要な要因を特定し、強力なリップシンク識別子から学習することで解決しました。次に、制約のない動画でのリップシンク精度を正確に測定するため的新しい厳密な評価ベンチマークと指標を提案します。我々が設定した困難なベンチマークにおける広範な定量的評価により、Wav2Lipモデルによって生成された動画のリップシンク精度が実際の同期済み動画とほぼ同等であることが示されました。当ウェブサイト(\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild})では、Wav2Lipモデルおよび評価ベンチマークによる影響を明確に示すデモ動画をご覧いただけます。また、コードとモデルはGitHubリポジトリ(\url{github.com/Rudrabha/Wav2Lip})で公開されており、インタラクティブデモもこちら(\url{bhaasha.iiit.ac.in/lipsync})で試すことができます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています