MVGS : Splatting Gaussien régulé par multi-vues pour la synthèse de vues nouvelles

Les travaux récents en rendu volumique, tels que NeRF et le Splatting Gaussien 3D (3DGS), ont considérablement amélioré la qualité et l’efficacité du rendu grâce à l’utilisation d’un champ de radiance neuronal implicite appris ou de Gaussiennes 3D. En s’appuyant sur une représentation explicite, le 3DGS classique et ses variantes parviennent à une efficacité en temps réel en optimisant le modèle paramétrique avec une supervision à vue unique par itération pendant l’entraînement, une approche empruntée à NeRF. Cependant, cette stratégie conduit à un surapprentissage de certaines vues, entraînant une qualité d’apparence insatisfaisante dans la synthèse de nouvelles vues et des géométries 3D imprecises. Pour résoudre ces problèmes, nous proposons une nouvelle méthode d’optimisation du 3DGS, fondée sur quatre contributions novatrices majeures : 1) Nous transformons le paradigme classique d’entraînement à vue unique en une stratégie d’entraînement multi-vues. Grâce à notre régulation multi-vues proposée, les attributs des Gaussiennes 3D sont davantage optimisés sans surapprentissage de certaines vues d’entraînement. En tant que solution générale, cette approche améliore la précision globale dans divers scénarios et pour différentes variantes de Gaussiennes 3D. 2) Inspirés par les bénéfices apportés par l’ajout de vues supplémentaires, nous proposons par la suite un schéma de guidance intrinsèque croisée, permettant une procédure d’entraînement de type grossier-vers-fin selon différentes résolutions. 3) En s’appuyant sur notre entraînement régulé multi-vues, nous introduisons une stratégie de densification croisée par rayon, qui densifie davantage les noyaux Gaussiens dans les régions d’intersection avec les rayons, sélectionnées à partir d’un ensemble de vues. 4) En approfondissant l’étude de la stratégie de densification, nous constatons que son effet doit être renforcé lorsque certaines vues présentent des différences marquées. À cette fin, nous proposons une nouvelle stratégie de densification augmentée multi-vues, où les Gaussiennes 3D sont encouragées à atteindre un nombre suffisant de densification, conduisant ainsi à une amélioration significative de la précision de reconstruction.