AnySplat : Splatting gaussien 3D à alimentation directe à partir de vues non contraintes

Nous présentons AnySplat, un réseau de propagation avant pour la synthèse de vues nouvelles à partir de collections d'images non calibrées. Contrairement aux pipelines de rendu neuronal traditionnels qui nécessitent des poses caméra connues et une optimisation par scène, ou aux méthodes récentes de propagation avant qui ploient sous le poids computationnel des vues denses, notre modèle prédit tout en une seule passe. Une seule passe de propagation avant produit un ensemble de primitives gaussiennes 3D encodant à la fois la géométrie et l'apparence de la scène, ainsi que les paramètres intrinsèques et extrinsèques correspondants pour chaque image d'entrée. Cette conception unifiée s'adapte sans effort à des jeux de données multivues capturés de manière informelle, sans aucune annotation de pose. Dans des évaluations exhaustives en zero shot, AnySplat égale la qualité des baselines sensibles à la pose dans les scénarios à vues rares et denses, tout en surpassant les approches existantes sans pose. De plus, il réduit considérablement la latence du rendu par rapport aux champs neuronaux basés sur l'optimisation, rendant possible la synthèse de vues nouvelles en temps réel pour des configurations de capture non contraintes. Page du projet : https://city-super.github.io/anysplat/