要約
長時間の撮影動画から新視点合成（NVS）における重要な課題に取り組む「LongSplat」を提案する。本研究の対象となる動画は、不規則なカメラ運動、未知のカメラポーズ、広大なシーンを特徴とするため、従来の手法はポーズドリフト、不正確な幾何初期化、深刻なメモリ制約といった問題に直面している。これらの課題を解決するため、本研究では以下の3つの特徴を備えた、耐障害性の高い無ポーズ3Dガウススプラッティングフレームワーク「LongSplat」を提案する。（1）インクリメンタル共同最適化：カメラポーズと3Dガウス分布を同時に最適化することで、局所最適解を回避し、グローバルな一貫性を確保する。（2）学習された3D事前知識を活用する堅牢なポーズ推定モジュール。（3）空間密度に基づいて高密度点群をアンカーに変換する効率的なオクツリー・アンカー形成機構。困難なベンチマークデータセットを用いた広範な実験により、LongSplatが最先端の性能を達成することが確認された。従来手法と比較して、レンダリング品質、ポーズ精度、計算効率の面で顕著な向上が見られた。プロジェクトページ：https://linjohnss.github.io/longsplat/