NeRFLiX：劣化駆動型インタビュー間ミキサー学習による高品質なニューラルビュー合成

ニューラルレディエンスフィールド（NeRF）は、新しい視点の合成において大きな成功を収めている。しかし、現実世界のシーンにおいては、既存のNeRFベースのアプローチが入力画像から高品質な細部を復元することは依然として困難である。これは、カメラの不完全なキャリブレーション情報やシーン表現の不正確さといった要因に起因する。高品質なトレーニングフレームを用いても、NeRFモデルが生成する合成視点画像には、ノイズやぼかしなど顕著なレンダリングアーティファクトが残存する場合がある。この問題を解決し、NeRFベース手法の合成品質を向上させるために、本研究では「NeRFLiX」と呼ばれる汎用的なNeRFに依存しない修復パラダイムを提案する。本手法は、劣化を駆動要因とする視点間ミキサーを学習することで、既存の深層ニューラルネットワークがNeRF特有のレンダリングアーティファクトを効果的に除去できる可能性を実現する。特に、NeRFに特有の劣化モデルを設計し、大規模なトレーニングデータを構築することで、この修復の実現を可能とした。さらに、劣化除去にとどまらず、関連性の高い高品質なトレーニング画像を効果的に統合する視点間集約フレームワークを提案した。これにより、最先端のNeRFモデルの性能を全く新しい水準まで引き上げ、極めて写真のようなリアルな合成視点画像の生成を実現した。