FB-OCC: 3D-Besetzungsprognose basierend auf Vorwärts-Rückwärts-Sichttransformierung

Dieser technische Bericht fasst die Gewinnlösung für die 3D-Besetztheitsvorhersage-Challenge zusammen, die im Rahmen des CVPR 2023 Workshops zu End-to-End autonomem Fahren und des CVPR 23 Workshops zu visionenbasiertem autonomen Fahren durchgeführt wird. Unser vorgeschlagener Ansatz FB-OCC basiert auf FB-BEV, einem fortschrittlichen kamera-basierten Entwurf zur Vogelperspektivdarstellung (bird's-eye view perception) unter Verwendung von Vorwärts-Rückwärts-Projektion. Aufbauend auf FB-BEV untersuchen wir neuartige Entwürfe und Optimierungen, die speziell für die 3D-Besetztheitsvorhersage angepasst sind, darunter gemeinsames Tiefen-Semantik-Vortraining, gemeinsame Voxel-BEV-Darstellung, Modellvergrößerung und effektive Post-Verarbeitungsstrategien. Diese Entwürfe und Optimierungen führen zu einem stand der Technik entsprechenden mIoU-Wert von 54,19 % im nuScenes-Datensatz und sichern uns den ersten Platz in der Challenge-Disziplin. Der Quellcode und die Modelle werden veröffentlicht unter: https://github.com/NVlabs/FB-BEV.