9日前

MVGS:新視点合成のための多視点制御ガウススプラッティング

Xiaobiao Du, Yida Wang, Xin Yu
MVGS:新視点合成のための多視点制御ガウススプラッティング
要約

近年の体積レンダリングに関する研究、特にNeRFや3Dガウススプラッティング(3DGS)は、学習された陰的ニューラルレディアンスフィールドまたは3Dガウス分布を活用することで、レンダリングの品質と効率を著しく向上させている。従来の3DGSおよびその派生手法は、明示的表現の上にレンダリングを行うが、訓練過程において各イテレーションごとに単一視点からの監視信号を用いてパラメトリックモデルを最適化するというNeRF由来のアプローチを採用しており、リアルタイムでの効率的なレンダリングを実現している。しかしながら、このアプローチは特定の視点に過剰適合(overfitting)を引き起こす傾向があり、新規ビュー合成における外観の不自然さや3D形状の不正確さといった問題を引き起こす。本研究では、上記の課題を解決するため、4つの重要な新規貢献を含む新しい3DGS最適化手法を提案する。1) 本研究では従来の単一視点学習枠組みを、マルチビュー学習戦略へと変換する。提案するマルチビュー制御機構により、訓練視点の特定の偏向を回避しつつ、3Dガウスの属性をさらに精密に最適化することが可能となる。このアプローチは汎用的な解決策として、さまざまなシナリオおよび異なるガウス変種において全体的な精度を向上させることを実現している。2) 複数の視点がもたらす利点に着目し、新たなクロスイントリンシックガイドランス(cross-intrinsic guidance)スキームを提案。これにより、異なる解像度を対象とした粗い段階から細かい段階へと段階的に進むトレーニングプロセスが可能となる。3) 提案するマルチビュー制御学習を基盤とし、クロスレイ密度化戦略(cross-ray densification strategy)を導入。特定の視点から選択した射線と交差する領域に、より多くのガウスカーネルを密度化することで、空間的表現の精度を向上させる。4) 密度化戦略のさらなる検討を通じて、特定の視点が著しく異なる場合、密度化の効果を強化する必要があることが明らかになった。これを解決するため、新たなマルチビュー拡張密度化戦略(multi-view augmented densification strategy)を提案。この戦略では、視点の特徴に応じて3Dガウスが適切な数まで密度化されるよう促進され、結果として再構成精度が著しく向上する。