LongSplat : Éclaboussures 3D gaussiennes robustes non orientées pour des vidéos longues informelles

LongSplat aborde des défis critiques dans la synthèse de vues nouvelles (NVS) à partir de vidéos longues capturées de manière informelle, caractérisées par un mouvement de caméra irrégulier, des poses de caméra inconnues et des scènes étendues. Les méthodes actuelles souffrent fréquemment de dérive de pose, d'une initialisation géométrique imprécise et de limitations sévères de mémoire. Pour relever ces problèmes, nous introduisons LongSplat, un cadre robuste de Splatting gaussien 3D non posé, doté de trois composantes clés : (1) une optimisation incrémentale conjointe, qui optimise simultanément les poses de caméra et les gaussiennes 3D afin d’éviter les minima locaux et d’assurer une cohérence globale ; (2) un module de estimation de pose robuste exploitant des priori 3D appris ; et (3) un mécanisme efficace de formation d’ancres par octree, qui transforme des nuages de points denses en ancres en fonction de la densité spatiale. Des expériences étendues sur des benchmarks exigeants montrent que LongSplat atteint des résultats de pointe, améliorant de manière significative la qualité de rendu, la précision des poses et l’efficacité computationnelle par rapport aux approches antérieures. Page du projet : https://linjohnss.github.io/longsplat/