NeRFLiXからNeRFLiX++へ：汎用的なNeRFに依存しない修復パラダイム

ニューラルレディアンスフィールド（NeRF）は、新規視点合成において大きな成功を収めており、特にリアルワールドシーンにおける高品質な詳細の復元が、既存のNeRFベースの手法において依然として課題となっています。これは、カメラの不完全なキャリブレーション情報やシーン表現の不正確さに起因するためです。高品質なトレーニングフレームを用いても、NeRFモデルによって生成される合成視点には、ノイズやぼかしといった顕著なレンダリングアーティファクトが残存します。この問題に対処するため、本研究では、NeRFに依存しない汎用的な復元パラダイム「NeRFLiX」を提案します。NeRFLiXは、劣化を駆動要因とする視点間混合器（inter-viewpoint mixer）を学習する仕組みを採用しています。特に、NeRFに準拠した劣化モデルを設計し、大規模なトレーニングデータを構築することで、深層ニューラルネットワークによるNeRF固有のレンダリングアーティファクトの効果的な除去が可能になりました。さらに、劣化除去の枠を超えて、関連性の高い高品質なトレーニング画像を効果的に統合する視点間集約フレームワークを提案し、最先端のNeRFモデルの性能を全く新しい水準まで引き上げ、極めて写実的な合成視点を生成することを実現しました。このパラダイムに基づき、より強力な二段階NeRF劣化シミュレータと高速化された視点間混合器を備えた「NeRFLiX++」をさらに提案しました。NeRFLiX++は、著しく向上した計算効率を実現しつつ、優れた性能を達成しており、ノイズを含む低解像度のNeRFレンダリング結果から、写実的な超高解像度出力を復元することも可能です。広範な実験により、NeRFLiX++が多様な新規視点合成ベンチマークにおいて優れた復元能力を発揮することが実証されています。