HyperAIHyperAI

Command Palette

Search for a command to run...

MVGS : Splatting Gaussien régulé par multi-vues pour la synthèse de vues nouvelles

Xiaobiao Du Yida Wang Xin Yu

Résumé

Les travaux récents en rendu volumique, tels que NeRF et le Splatting Gaussien 3D (3DGS), ont considérablement amélioré la qualité et l’efficacité du rendu grâce à l’utilisation d’un champ de radiance neuronal implicite appris ou de Gaussiennes 3D. En s’appuyant sur une représentation explicite, le 3DGS classique et ses variantes parviennent à une efficacité en temps réel en optimisant le modèle paramétrique avec une supervision à vue unique par itération pendant l’entraînement, une approche empruntée à NeRF. Cependant, cette stratégie conduit à un surapprentissage de certaines vues, entraînant une qualité d’apparence insatisfaisante dans la synthèse de nouvelles vues et des géométries 3D imprecises. Pour résoudre ces problèmes, nous proposons une nouvelle méthode d’optimisation du 3DGS, fondée sur quatre contributions novatrices majeures : 1) Nous transformons le paradigme classique d’entraînement à vue unique en une stratégie d’entraînement multi-vues. Grâce à notre régulation multi-vues proposée, les attributs des Gaussiennes 3D sont davantage optimisés sans surapprentissage de certaines vues d’entraînement. En tant que solution générale, cette approche améliore la précision globale dans divers scénarios et pour différentes variantes de Gaussiennes 3D. 2) Inspirés par les bénéfices apportés par l’ajout de vues supplémentaires, nous proposons par la suite un schéma de guidance intrinsèque croisée, permettant une procédure d’entraînement de type grossier-vers-fin selon différentes résolutions. 3) En s’appuyant sur notre entraînement régulé multi-vues, nous introduisons une stratégie de densification croisée par rayon, qui densifie davantage les noyaux Gaussiens dans les régions d’intersection avec les rayons, sélectionnées à partir d’un ensemble de vues. 4) En approfondissant l’étude de la stratégie de densification, nous constatons que son effet doit être renforcé lorsque certaines vues présentent des différences marquées. À cette fin, nous proposons une nouvelle stratégie de densification augmentée multi-vues, où les Gaussiennes 3D sont encouragées à atteindre un nombre suffisant de densification, conduisant ainsi à une amélioration significative de la précision de reconstruction.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp