GSNet: Gemeinsame Rekonstruktion von Fahrzeugpose und -form unter geometrischer und szenebasierter Überwachung

Wir präsentieren ein neues end-to-end Framework namens GSNet (Geometrisches und Szenenbewusstes Netzwerk), das 6DoF-Positionen und detaillierte 3D-Autokörper aus einzelnen städtischen Straßenansichten gemeinsam schätzt und rekonstruiert. GSNet nutzt ein einzigartiges vierfaches Merkmalsextraktions- und -fusionsverfahren und regressiert 6DoF-Positionen und Formen direkt in einem einzigen Vorwärtsdurchgang. Ausführliche Experimente zeigen, dass unser vielfältiges Merkmalsextraktions- und -fusionsverfahren die Modellleistung erheblich verbessern kann. Basierend auf einer divide-and-conquer Strategie für die 3D-Formdarstellung rekonstruiert GSNet die 3D-Fahrzeugform mit großer Detailgenauigkeit (1352 Knotenpunkte und 2700 Flächen). Diese dichte Gitterdarstellung führt uns dazu, geometrische Konsistenz und szenische Kontexte zu berücksichtigen, was wiederum eine neue mehrzielige Verlustfunktion inspiriert, um das Netzwerkausbildung zu regulieren. Dies verbessert die Genauigkeit der 6D-Pose-Schätzung und bestätigt den Vorteil beider Aufgaben gemeinsam durchzuführen. Wir evaluieren GSNet anhand des größten mehrzieligen ApolloCar3D-Benchmarks und erreichen sowohl quantitativ als auch qualitativ den aktuellen Stand der Technik. Die Projektseite ist unter https://lkeab.github.io/gsnet/ verfügbar.