Seit dem Aufkommen von „3D Gaussian Splatting for Real-Time Rendering of Radiance Fields“ im Jahr 2023 hat sich 3DGS (3D Gaussian Splatting) rasant zu einem der meistbeachteten technischen Ansätze im Bereich der 3D-Rekonstruktion und des Compositing mit neuen Perspektiven entwickelt. Im Vergleich zu traditionellem NeRF,3DGS hat bahnbrechende Fortschritte bei der Rendering-Geschwindigkeit und der visuellen Qualität erzielt und ermöglicht so die Echtzeit-Rekonstruktion von 3D-Szenen in hoher Genauigkeit.Mit dem rasanten Wachstum von Forschung und industriellen Anwendungen hat sich jedoch ein neues Problem herausgebildet: Die ursprüngliche Implementierung stellt hohe Anforderungen an Videospeicher und Rechenressourcen, wodurch ihre Trainingseffizienz und Skalierbarkeit begrenzt sind. Forscher müssen daher oft viel Zeit in die Optimierung auf niedriger Ebene investieren, um sie auf komplexere Szenarien und Aufgaben anwenden zu können.

Kürzlich hat gsplat, ein Open-Source-Projekt, das gemeinsam von der UC Berkeley, NVIDIA, der ShanghaiTech University, Amazon, Meta und anderen Institutionen entwickelt wurde, eine neue Lösung für dieses Problem bereitgestellt. Als grundlegende Bibliothek, die speziell für das Training und die Entwicklung von Gaussian-Splatting-Methoden konzipiert wurde,Unter Beibehaltung der ursprünglichen 3DGS-Renderingqualität hat gsplat das zugrunde liegende Trainingsframework systematisch umstrukturiert und optimiert.Sie hat sich zu einer der wichtigsten Infrastrukturen im aktuellen Gaussian-Splatting-Ökosystem entwickelt.

Aus architektonischer Gestaltungsperspektive,gsplat verfolgt einen Ansatz der Trennung von Frontend und Backend:Das Frontend bietet eine tief in PyTorch integrierte Python-Schnittstelle, die Forschern eine schnelle Entwicklung und Durchführung von Experimenten ermöglicht; das Backend, basierend auf einem hochoptimierten CUDA-Kernel, ermöglicht leistungsstarke, differenzierbare Rasterisierungsberechnungen. Offizielle experimentelle Ergebnisse zeigen, dass im Vergleich zur ursprünglichen Implementierung …gsplat kann bis zu 4 Mal mehr GPU-Speicher einsparen und die Trainingszeit um etwa 10% bis 15% verkürzen.Es senkt den Ressourcenbedarf für groß angelegte Szenentrainings erheblich.

Neben Leistungsverbesserungen bietet gsplat auch einen adaptiven Mechanismus zur Steuerung der Gaußschen Dichte. Dieser fügt während des Trainings automatisch Gaußsche Punkte hinzu oder entfernt sie, um eine effizientere Szenendarstellung zu erreichen. Zudem unterstützt gsplat verschiedene Datenquellen wie COLMAP, SfM-Punktwolken und LiDAR-Punktwolken und verfügt über einen integrierten Echtzeit-Webviewer, mit dem Benutzer 3D-Szenen direkt im Browser betrachten und mit ihnen interagieren können.

HyperAI (hyper.ai) hat kürzlich das Tutorial „Gsplat 3D Gaussian Splash Training and Visualization“ veröffentlicht, das die Einstiegshürde senkt und die schnelle Validierung von Modellen ermöglicht. ⬇️

Online ausführen:https://go.hyper.ai/19Pn8

Weitere Online-Tutorials:

https://hyper.ai/notebooks

Demolauf

1. Nachdem Sie die Homepage von hyper.ai aufgerufen haben, wählen Sie die Seite „Tutorials“ aus oder klicken Sie auf „Weitere Tutorials anzeigen“, wählen Sie „Gsplat 3D Gaussian Splash Training and Visualization“ aus und klicken Sie auf „Dieses Tutorial ausführen“.

2. Nachdem die Seite weitergeleitet wurde, klicken Sie oben rechts auf „Klonen“, um das Tutorial in Ihren eigenen Container zu klonen.

Hinweis: Sie können die Sprache oben rechts auf der Seite ändern. Derzeit sind Chinesisch und Englisch verfügbar. Dieses Tutorial zeigt die Schritte auf Englisch.

3. Wählen Sie die Images „NVIDIA RTX 5090“ und „PyTorch“ aus und klicken Sie auf „Auftragsausführung fortsetzen“.

4. Warten Sie, bis die Ressourcen zugewiesen wurden. Sobald sich der Status auf „Wird ausgeführt“ ändert, klicken Sie auf „Arbeitsbereich öffnen“, um den Jupyter-Arbeitsbereich zu betreten.

Effektanzeige

1. Nachdem die Seite weitergeleitet wurde, klicken Sie auf die README-Datei auf der linken Seite und anschließend oben auf Ausführen.

2. Nach Abschluss des Vorgangs klicken Sie auf die API-Adresse auf der rechten Seite, um die Demo-Oberfläche zu öffnen.