Shape-for-Motion: 3D プロキシを用いた精密で一貫性のあるビデオ編集

最近の深層生成モデルの進展により、ビデオ合成に空前の機会がもたらされました。しかし、実際の応用では、ユーザーはしばしば彼らの創造的な編集意図を忠実に実現するためのツールを求めています。既存の手法で達成された進歩にもかかわらず、ユーザーの意図との微細な整合性を確保することは未解決かつ困難な問題となっています。本研究では、Shape-for-Motionと呼ばれる新しいフレームワークを提案します。このフレームワークは、正確かつ一貫したビデオ編集のために3Dプロキシを組み込みます。Shape-for-Motionは、入力ビデオ内の対象物体を時間的に一貫したメッシュ（3Dプロキシ）に変換することでこれを実現し、編集を直接プロキシ上で行い、その後ビデオフレームに戻すことができます。編集プロセスを簡素化するために、我々は新しい二重伝播戦略（Dual-Propagation Strategy）を設計しました。これにより、ユーザーは単一フレームの3Dメッシュ上で編集を行い、その編集が自動的に他のフレームの3Dメッシュに伝播されます。異なるフレームの3Dメッシュはさらに2D空間に射影され、編集されたジオメトリとテクスチャレンダリングが生成されます。これらのレンダリングは解離型ビデオ拡散モデルへの入力として使用され、編集結果が生成されます。当社のフレームワークは、ポーズ編集、回転、スケーリング、移動（translation）、テクスチャ変更、および物体合成など、ビデオフレーム間での様々な正確かつ物理的に整合性のある操作をサポートしています。我々のアプローチは高品質で制御可能なビデオ編集ワークフローへの重要な一歩となります。広範な実験によって当社アプローチの優越性と効果が示されています。プロジェクトページ: https://shapeformotion.github.io/