Command Palette
Search for a command to run...
TriSplat: Simulationsbereite, vorwärtsgerichtete 3D-Szenenrekonstruktion
TriSplat: Simulationsbereite, vorwärtsgerichtete 3D-Szenenrekonstruktion
Weijie Wang Zimu Li Jinchuan Shi Zeyu Zhang Botao Ye Marc Pollefeys Donny Y. Chen Bohan Zhuang
Zusammenfassung
Die 3D-Rekonstruktion aus sparsamen Ansichten wird zunehmend mit vorwärtsgerichteten Splatting-Netzwerken behandelt, die explizite Primitiven direkt aus Bildern vorhersagen. Die meisten bestehenden Methoden konzentrieren sich jedoch nach wie vor auf Gaußsche Primitiven und stellen Oberflächen nur indirekt dar: Die Extraktion eines nutzbaren Meshes für nachgelagerte Simulationen, physikalische Schlussfolgerungen oder verkörperte Interaktion erfordert weiterhin aufwändige nachgelagerte Schritte, die das Versprechen der vorwärtsgerichteten Verarbeitung durchbrechen. Diese Einschränkung ist in posefreien Einstellungen besonders ausgeprägt, in denen die Szenenstruktur und Kameraparameter gemeinsam aus sparsamen Beobachtungen geschätzt werden müssen. Wir präsentieren TriSplat, ein vorwärtsgerichtetes Rekonstruktionsnetzwerk, das Szenen mit orientierten Dreiecksprimitiven darstellt und direkt simulationstaugliche Mesh-Szenen aus einem einzigen Vorwärtsdurchlauf exportiert. Basierend auf Eingabebildern vorhersagt das Netzwerk lokale 3D-Punktkarten, Dreiecksattribute, Kameraposen und optionale Intrinsics. Anstatt die Dreiecksorientierung als unbeschränkte latente Variable zu regressieren, konstruiert unser Ansatz Geometrienormale aus den vorhergesagten Punktkarten, verfeinert diese mit einem bildbedingten Normalen-Head und wandelt sie in stabile lokale Frames für die Dreiecksparametrisierung um. Ein Mono-Normal-Bootstrap-Schema stabilisiert weiterhin das frühe Training, während das Scheduling von Opazität und Unschärfe die gelernte Oberflächenrepräsentation schrittweise schärft, um eine direkte Mesh-Extraktion zu ermöglichen. Experimente auf RealEstate10K und DL3DV zeigen, dass diese Darstellung geometrietreuere Rekonstruktionen im Vergleich zu Gaußschen vorwärtsgerichteten Baselines erzeugt, während sie eine wettbewerbsfähige Qualität bei der Wiedergabe neuer Ansichten beibehält. Da die Renderprimitiven selbst Oberflächendreiecke sind, kann die Ausgabe direkt von Physik-Engines, Kollisionserkennern und Standard-Rendering-Pipelines ohne jegliche Konvertierung verarbeitet werden, was sie zu einer praktischen, simulationstauglichen Lösung für die vorwärtsgerichtete 3D-Szenenrekonstruktion macht.