要約
最近、疎な画像集合からの新規視点合成を実現する高忠実度のシーン再構成として、最適化された3Dガウススプラット表現が提案された。ネットワークストリーミングや低消費電力デバイス上のレンダリングといった応用に適したこの表現を実現するためには、メモリ消費量の大幅な削減とレンダリング効率の向上が不可欠である。本研究では、方向性カラーおよびガウスパラメータの圧縮を目的として、感度を意識したベクトルクラスタリングと、量子化を意識した訓練を組み合わせた圧縮3Dガウススプラット表現を提案する。学習されたコードブックは低ビットレートを実現し、実世界のシーンにおいて最大31倍の圧縮率を達成しつつ、視覚的品質の低下は極めて小さい。また、軽量なGPU上でハードウェアラスタライゼーションを用いて効率的にレンダリングできることを示した。これは、最適化されたGPUコンピュートパイプラインによる報告値と比較して、最大4倍のフレームレート向上を達成している。複数のデータセットにわたる広範な実験により、本手法の頑健性および高速レンダリング性能が確認された。