HyperAIHyperAI

Command Palette

Search for a command to run...

Console
5日前

ソース動画のリアリズムを保持する:映画級品質の高精細な顔交換

Zekai Luo Zongze Du Zhouhang Zhu Hao Zhong Muzhi Zhu Wen Wang Yuling Xi Chenchen Jing Hao Chen Chunhua Shen

ソース動画のリアリズムを保持する:映画級品質の高精細な顔交換

要約

ビデオ顔交換技術は、映画およびエンターテインメント制作において極めて重要であり、長時間にわたり複雑なビデオシーケンスにおいて高精細度と時間的整合性を維持することは、依然として大きな課題である。近年の参照ガイド付き画像編集の進展に着想を得て、本研究では、ソースビデオから得られる豊富な視覚的特徴量が、ビデオ顔交換における精細度と時間的一貫性の向上に同様に活用可能かどうかを検討する。この知見を基に、本研究では、初めての「ビデオ参照ガイド付き顔交換モデル」であるLivingSwapを提案する。本手法は、キーフレームを条件信号として用いることで、ターゲットの顔の同一性を柔軟かつ制御可能に注入する。キーフレームの条件付けとビデオ参照ガイドの組み合わせにより、時間的ステッチングを実現し、長時間にわたるビデオシーケンスにおいても顔の同一性の安定保持と高精細度の再構成を達成する。参照ガイド付き学習に必要なデータの不足という課題に対処するため、本研究ではペアド顔交換データセットFace2Faceを構築し、さらにデータペアを逆転させることで、信頼性の高い真値(ground-truth)の監視を確保した。広範な実験により、本手法が最先端の性能を達成することが示された。ターゲットの顔の同一性が、ソースビデオの表情、照明、動きと自然に統合され、制作ワークフローにおける手作業の負担を著しく低減することが確認された。プロジェクトページ:https://aim-uofa.github.io/LivingSwap

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています