BlenderFusion: 3D グラウンデッド ビジュアル編集とジェネレーティブ コンポジティング

私たちはBlenderFusionを紹介します。これは、オブジェクト、カメラ、背景を再構成することで新しいシーンを合成する生成的なビジュアルコンポジティングフレームワークです。このフレームワークは、レイヤリング-編集-コンポジティングのパイプラインに従います：(i) ビジュアル入力を分割し、編集可能な3Dエンティティに変換する（レイヤリング）、(ii) Blenderを使用して3D基盤制御でこれらを編集する（編集）、そして(iii) 生成的なコンポジターを使用してこれらの要素を一貫したシーンに融合させる（コンポジティング）。私たちの生成的なコンポジターは、事前学習された拡散モデルを拡張し、元の（ソース）シーンと編集後の（ターゲット）シーンを並列に処理します。このモデルは、2つの主要な学習戦略を使用してビデオフレームに対して微調整されています：(i) ソースマスキング、これにより背景置換などの柔軟な変更が可能になります；(ii) シミュレートされたオブジェクトの揺れ（jittering）、これによりオブジェクトとカメラに対する分離された制御が容易になります。BlenderFusionは複雑な組成的シーン編集タスクにおいて先行手法を大幅に上回っています。