Depuis l'apparition du « 3D Gaussian Splatting for Real-Time Rendering of Radiance Fields » en 2023, la technique 3DGS (3D Gaussian Splatting) est rapidement devenue l'une des approches techniques les plus suivies dans le domaine de la reconstruction 3D et du compositing de nouvelles perspectives. Comparée à la méthode NeRF traditionnelle,3DGS a réalisé des progrès révolutionnaires en matière de vitesse de rendu et de qualité visuelle, rendant possible la reconstruction de scènes 3D haute fidélité en temps réel.Cependant, avec la croissance rapide des applications de recherche et industrielles, un nouveau problème a progressivement émergé : l’implémentation initiale est très gourmande en mémoire vidéo et en ressources de calcul, et son efficacité d’apprentissage ainsi que son extensibilité technique sont limitées. Les chercheurs doivent souvent consacrer beaucoup de temps à l’optimisation de bas niveau afin de pouvoir l’appliquer à des scénarios et des tâches plus complexes.

Récemment, gsplat, un projet open-source développé conjointement par l'UC Berkeley, NVIDIA, l'Université ShanghaiTech, Amazon, Meta et d'autres institutions, a apporté une nouvelle solution à ce problème. En tant que bibliothèque fondamentale spécifiquement conçue pour l'entraînement et le développement des méthodes de splatting gaussien,Tout en préservant la qualité de rendu 3DGS d'origine, gsplat a systématiquement restructuré et optimisé le cadre d'entraînement sous-jacent.Elle est devenue l'une des infrastructures les plus importantes de l'écosystème actuel du splatting gaussien.

Du point de vue de la conception architecturale,gsplat adopte une approche de séparation entre le front-end et le back-end :L'interface utilisateur offre une interface Python étroitement intégrée à PyTorch, facilitant le développement et l'expérimentation rapides pour les chercheurs ; le moteur, basé sur un noyau CUDA hautement optimisé, permet un calcul de rastérisation différentiable haute performance. Les résultats expérimentaux officiels montrent que, par rapport à l'implémentation originale,gsplat peut économiser jusqu'à 4 fois la mémoire GPU et réduire le temps d'entraînement d'environ 10%~15%.Cela réduit considérablement le seuil de ressources nécessaire à l'entraînement sur des scènes à grande échelle.

Outre l'amélioration des performances, gsplat introduit un mécanisme de contrôle adaptatif de la densité gaussienne, capable d'ajouter ou de supprimer automatiquement des points gaussiens pendant l'entraînement afin d'obtenir une représentation de scène plus efficace. Il prend également en charge plusieurs sources de données telles que COLMAP, les nuages de points SfM et les nuages de points LiDAR, et intègre une visionneuse Web en temps réel permettant aux utilisateurs de visualiser et d'interagir avec des scènes 3D directement dans leur navigateur.

HyperAI (hyper.ai) a récemment lancé le tutoriel « Gsplat 3D Gaussian Splash Training and Visualization », facilitant ainsi le déploiement et permettant une validation rapide des modèles. ⬇️

Exécutez en ligne :https://go.hyper.ai/19Pn8

Plus de tutoriels en ligne :

https://hyper.ai/notebooks

Essai de démonstration

1. Après avoir accédé à la page d'accueil de hyper.ai, sélectionnez la page « Tutoriels », ou cliquez sur « Voir plus de tutoriels », sélectionnez « Entraînement et visualisation Gsplat 3D Gaussian Splash », puis cliquez sur « Exécuter ce tutoriel ».

2. Une fois la page redirigée, cliquez sur « Cloner » en haut à droite pour cloner le tutoriel dans votre propre conteneur.

Remarque : Vous pouvez changer de langue en haut à droite de la page. Actuellement, le chinois et l’anglais sont disponibles. Ce tutoriel présente les étapes en anglais.

3. Sélectionnez les images « NVIDIA RTX 5090 » et « PyTorch », puis cliquez sur « Continuer l'exécution de la tâche ».

4. Attendez que les ressources soient allouées. Une fois que le statut passe à « En cours d'exécution », cliquez sur « Ouvrir l'espace de travail » pour accéder à l'espace de travail Jupyter.

Affichage des effets

1. Une fois la page redirigée, cliquez sur le fichier README à gauche, puis sur « Exécuter » en haut.

2. Une fois le processus terminé, cliquez sur l'adresse API à droite pour ouvrir l'interface de démonstration.