HyperAIHyperAI
vor 4 Tagen

LongSplat: Robuste unposed 3D-Gaußsplatting für alltägliche lange Videos

Chin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu
LongSplat: Robuste unposed 3D-Gaußsplatting für alltägliche lange Videos
Abstract

LongSplat löst kritische Herausforderungen bei der Neuperspektivenerzeugung (Novel View Synthesis, NVS) aus spontan aufgenommenen langen Videos, die durch unregelmäßige Kamerabewegungen, unbekannte Kameraposen und großflächige Szenen gekennzeichnet sind. Aktuelle Methoden leiden häufig unter Pose-Drift, ungenauer Geometrie-Initialisierung und schwerwiegenden Speicherbeschränkungen. Um diese Probleme zu bewältigen, stellen wir LongSplat vor – einen robusten, posefreien Rahmenwerk für 3D-Gauß-Splatting mit folgenden Merkmalen: (1) Inkrementelle gemeinsame Optimierung, die Kameraposen und 3D-Gauß-Verteilungen gleichzeitig optimiert, um lokale Minima zu vermeiden und globale Konsistenz sicherzustellen; (2) ein robuster Pose-Schätzmodul, das auf gelernten 3D-Vorwissen basiert; sowie (3) ein effizientes Octree-Anchor-Generierungsverfahren, das dichte Punktwolken auf Basis der räumlichen Dichte in Anchor-Elemente umwandelt. Umfassende Experimente auf anspruchsvollen Benchmarks zeigen, dass LongSplat Ergebnisse auf aktuellem Stand der Technik erzielt und im Vergleich zu früheren Ansätzen die Qualität der Darstellung, die Genauigkeit der Kameraposen sowie die rechnerische Effizienz erheblich verbessert. Projektseite: https://linjohnss.github.io/longsplat/