ランディアンス場のためのコンパクトな3Dガウス表現

ニューラルレディアンスフィールド（NeRF）は、高忠実度で複雑な3Dシーンを捉える上で顕著な可能性を示している。しかし、体積レンダリングに起因する計算上のボトルネックという持続的な課題が、NeRFの広範な採用を阻んでいる。一方、最近注目を集めている3Dガウシアンスプラッティング（3DGS）は、体積レンダリングではなくラスタライゼーションパイプラインを用いる3Dガウシアンベースの表現を採用することで、極めて高速なレンダリング速度と有望な画像品質を達成している。しかし、3DGSには高忠実度のレンダリング画像を維持するために膨大な数の3Dガウシアンが必要となるという大きな欠点がある。これは、大容量のメモリおよびストレージを必要とする。この重要な課題に対処するため、本研究では以下の2つの主要な目標に注力する：（1）性能を損なわずにガウシアン点の数を削減すること、（2）視点依存色や共分散といったガウシアン属性を圧縮すること。そのために、性能を維持しつつガウシアン数を大幅に削減できる学習可能なマスク戦略を提案する。さらに、球面調和関数に依存するのではなく、グリッドベースのニューラルフィールドを用いることで、視点依存色をコンパクトかつ効果的な表現にすることで、属性の圧縮を実現する。また、ベクトル量子化を用いてガウシアンの幾何的属性を効率的にコードブックで表現する。量子化やエントロピー符号化といったモデル圧縮技術を組み合わせることで、3DGSと比較して25倍以上のストレージ削減とレンダリング速度の向上を実現しつつ、シーン表現の品質を維持することに成功した。本研究は、高性能、高速な学習、コンパクト性、リアルタイムレンダリングを実現する包括的な3Dシーン表現フレームワークを提供する。プロジェクトページは以下のURLで公開されている：https://maincold2.github.io/c3dgs/。