2023年に「放射輝度場のリアルタイムレンダリングのための3Dガウススプラッティング」が登場して以来、3DGS（3Dガウススプラッティング）は、3D再構成と新しい遠近法合成の分野で最も注目されている技術的手法の1つに急速に成長しました。従来のNeRFと比較して、3DGSはレンダリング速度と画質において画期的な進歩を遂げ、リアルタイムでの高精細な3Dシーン再構築を可能にした。しかし、研究および産業応用の急速な発展に伴い、新たな問題が徐々に浮上してきた。それは、当初の実装ではビデオメモリと計算リソースに対する要求が高く、学習効率とエンジニアリングのスケーラビリティが限られているという点である。研究者は、より複雑なシナリオやタスクに適用するために、低レベルの最適化に多くの時間を費やす必要が生じることが多い。

最近、UC Berkeley、NVIDIA、上海科技大学、Amazon、Metaなどの機関が共同開発したオープンソースプロジェクトであるgsplatが、この問題に対する新しい解決策を提供しました。ガウススプラッティング手法のトレーニングと開発のために特別に設計された基盤ライブラリとして、gsplatは、オリジナルの3DGSレンダリング品質を維持しながら、基盤となるトレーニングフレームワークを体系的に再構築し、最適化しました。これは、現在のガウススプラッティングのエコシステムにおいて、最も重要なインフラストラクチャの1つとなっている。

建築設計の観点から言えば、gsplatはフロントエンドとバックエンドを分離するアプローチを採用しています。フロントエンドは、PyTorch と深く統合された Python インターフェースを提供し、研究者の迅速な開発と実験を容易にします。バックエンドは、高度に最適化された CUDA カーネルに基づいており、高性能な微分可能なラスタライズ計算を可能にします。公式の実験結果によると、元の実装と比較して、gsplatはGPUメモリを最大4倍節約でき、トレーニング時間を約10%～15%短縮できます。これにより、大規模なシーン学習に必要なリソースの閾値が大幅に低減されます。

gsplatは、パフォーマンスの向上に加え、適応型ガウス密度制御メカニズムも導入しています。これにより、トレーニング中にガウス点を自動的に追加または削除することで、より効率的なシーン表現を実現します。また、COLMAP、SfM点群、LiDAR点群など、複数のデータソースをサポートし、リアルタイムWebビューアを内蔵しているため、ユーザーはブラウザ上で3Dシーンを直接表示・操作できます。

現在、HyperAI（hyper.ai）は「Gsplat 3D Gaussian Splash Training and Visualization」チュートリアルを公開しており、導入のハードルを下げ、モデルの迅速な検証を支援しています。⬇️

オンラインで実行:https://go.hyper.ai/19Pn8

その他のオンラインチュートリアル：

https://hyper.ai/notebooks

デモの実行

1. hyper.ai のホームページにアクセスしたら、「チュートリアル」ページを選択するか、「その他のチュートリアルを表示」をクリックし、「Gsplat 3D ガウス スプラッシュのトレーニングと可視化」を選択して、「このチュートリアルを実行」をクリックします。

2. ページがリダイレクトされたら、右上隅の「複製」をクリックして、チュートリアルを独自のコンテナーに複製します。

注：ページの右上で言語を切り替えることができます。現在、中国語と英語が利用可能です。このチュートリアルでは英語で手順を説明します。

3. 「NVIDIA RTX 5090」と「PyTorch」の画像を選択し、「ジョブの実行を続行」をクリックします。

4. リソースが割り当てられるのを待ちます。ステータスが「実行中」に変わったら、「ワークスペースを開く」をクリックしてJupyterワークスペースに入ります。

エフェクト表示

1. ページがリダイレクトされたら、左側のREADMEファイルをクリックし、上部の「実行」をクリックします。

2. 処理が完了したら、右側のAPIアドレスをクリックしてデモインターフェースを開きます。