リアルタイムなランディアンスフィールドレンダリングのための3Dガウススプラッティング

最近、ラディアンスフィールド手法は複数枚の画像や動画で撮影されたシーンの新視点合成を革新してきました。しかし、高品質な視覚表現を実現するには、訓練およびレンダリングに高コストなニューラルネットワークを必要とし、近年の高速化手法は必然的に速度と品質のトレードオフを伴います。特に、無限大かつ完全なシーン（孤立した物体ではなく）を1080p解像度でレンダリングする場合、現時点ではリアルタイム表示（30fps以上）を達成できる手法は存在しません。本研究では、最先端の視覚品質を維持しつつ、競争力ある訓練時間と、重要なことに1080p解像度で高品質なリアルタイム（30fps以上）新視点合成を実現するための3つの鍵となる要素を提案します。第一に、カメラキャリブレーション時に生成されるスパースな点群を出発点として、シーンを3次元ガウス分布で表現することで、連続体積ラディアンスフィールドの望ましい特性を保持しつつ、空洞領域における不要な計算を回避します。第二に、3次元ガウスの最適化と密度制御をインタリーブ（交互）に行い、特に非対称な共分散（anisotropic covariance）の最適化を実施することで、シーンの正確な表現を実現します。第三に、可視性を意識した高速レンダリングアルゴリズムを開発し、非対称スプラット（anisotropic splatting）をサポートすることで、訓練の高速化とリアルタイムレンダリングの両立を可能にしました。これらの手法を、いくつかの既存の標準データセット上で実証し、最先端の視覚品質とリアルタイムレンダリングの両方を達成しました。