9日前

LightGaussian:15倍の圧縮と200 FPS以上を実現する無限大3Dガウシアン圧縮

Zhiwen Fan, Kevin Wang, Kairun Wen, Zehao Zhu, Dejia Xu, Zhangyang Wang
LightGaussian:15倍の圧縮と200 FPS以上を実現する無限大3Dガウシアン圧縮
要約

ポイントベース技術を用いたリアルタイムニューラルレンダリングの最近の進展により、3D表現の広範な採用が可能になってきました。しかし、3Dガウシアンスプラッティング(3D-GS)をはじめとする基盤的な手法は、構造から運動(SfM)によって生成される点群が数百万にまで膨張するため、単一の無限領域シーンにおいてギガバイト単位のディスク容量を要するなど、大きなストレージオーバーヘッドを伴います。この膨張はスケーラビリティの課題を生み出し、スプラッティングの効率性を制限しています。こうした問題に対処するため、本研究では3Dガウシアンをよりコンパクトな形式に変換する手法「LightGaussian」を提案します。ネットワークプリューニングのアイデアに着想を得て、シーン再構成におけるグローバルな重要度が最小限のガウシアンを同定し、プリューニングと復元プロセスを適用することで、冗長性を低減しつつ視覚的品質を維持します。さらに、知識蒸留と疑似ビュー拡張により、球面調和関数係数を低次の表現に変換し、よりコンパクトな表現を実現します。各ガウシアンのグローバルな重要度に基づくガウシアンベクトル量子化により、ビット幅をさらに削減しつつ精度の損失を最小限に抑えることが可能になります。LightGaussianは、3D-GSフレームワーク内において平均15倍の圧縮率を達成し、FPSを144から237へと向上させ、Mip-NeRF 360およびTank & Templeデータセットにおける複雑なシーンの効率的表現を実現しました。提案するガウシアンプリューニングアプローチは、Scaffold-GSをはじめとする他の3D表現にも適応可能であり、優れた汎化能力を示しています。