FB-OCC : Prédiction de l'occupation 3D basée sur la transformation de vue avant-arrière

Ce rapport technique résume la solution gagnante du Défi de Prédiction d'Occupation 3D, organisé conjointement avec l'Atelier sur la Conduite Autonome de bout en bout (CVPR 2023 Workshop on End-to-End Autonomous Driving) et l'Atelier sur la Conduite Autonome Centrée sur la Vision (CVPR 23 Workshop on Vision-Centric Autonomous Driving). Notre solution proposée, FB-OCC, s'appuie sur FB-BEV, une conception de perception en vue d'oiseau basée sur caméra à la pointe de la technologie utilisant des projections avant-arrière. Sur la base de FB-BEV, nous avons étudié des conceptions et des optimisations novatrices spécifiquement adaptées à la tâche de prédiction d'occupation 3D, notamment le pré-entraînement conjoint profondeur-sémantique, la représentation conjointe voxel-BEV, l'échelonnage du modèle et des stratégies efficaces de post-traitement. Ces conceptions et optimisations ont permis d'obtenir un score mIoU (mean Intersection over Union) record de 54,19 % sur le jeu de données nuScenes, classant notre solution en première position dans le classement du défi. Le code source et les modèles seront mis à disposition sur : https://github.com/NVlabs/FB-BEV.