Shuzhou Yang Xiaoyu Li Xiaodong Cun Guangzhi Wang Lingen Li Ying Shan Jian Zhang

要約

ビデオコンポジティングは、実写映像を組み合わせて映像制作を行う技術であり、映像制作および映画制作において重要な役割を果たしている。従来のプロセスは、人的作業と専門家の協力が不可欠であり、制作サイクルが長く、人件費も高額となることが課題であった。この問題を解決するため、生成モデルを活用してプロセスを自動化した「生成型ビデオコンポジティング」を提案する。本研究では、ユーザーが対話的に前景映像のアイデンティティおよび動き情報を、対象映像に適応的に組み込むことを目指しており、最終映像に追加される動的要素のサイズや運動軌道などの属性を自由にカスタマイズできるようにする。具体的には、その内在的な特性を活かした新しいDiffusion Transformer（DiT）パイプラインを設計した。編集前後の対象映像の一貫性を維持するため、マスク付きトークン注入を用いた軽量なDiTベースの背景保持ブランチを導入した。また、他のソースから動的要素を継承するため、フル自己注意機構を採用したDiT融合ブロックを提案するとともに、学習に有効な前景拡張手法を簡潔かつ効果的に導入した。さらに、ユーザーの制御に基づき、レイアウトの異なる背景映像と前景映像を融合するため、新たな位置埋め込み方式として「拡張回転位置埋め込み（Extended Rotary Position Embedding; ERoPE）」を提案した。最終的に、本研究の新規タスクに適したデータセット「VideoComp」を構築し、61,000セットの映像を収録した。このデータセットは、完全な動的要素と高品質な対象映像を含んでいる。実験の結果、本手法が生成型ビデオコンポジティングを効果的に実現でき、従来の手法と比較して忠実度および一貫性において優れた性能を示した。