Apprendre à prédire la forme 3D des voies et la position de la caméra à partir d'une seule image via des contraintes géométriques

La détection de voies 3D à partir de la caméra est un problème émergent pour les véhicules autonomes. Dans cette tâche, la position correcte de la caméra est essentielle pour générer des voies précises, permettant ainsi de transformer une image en vue perspective en une vue aérienne. Grâce à cette transformation, nous pouvons éliminer les effets de perspective afin que les voies 3D apparaissent similaires et puissent être ajustées avec précision par des polynômes d'ordre inférieur. Cependant, les détecteurs 3D de voies principaux s'appuient sur des positions de caméra parfaites fournies par d'autres capteurs, ce qui est coûteux et soulève des problèmes de calibration multi-capteurs. Pour surmonter ce problème, nous proposons une méthode prédictive de voies 3D basée sur l'estimation de la position de la caméra à partir d'une seule image, utilisant un cadre en deux étapes. La première étape vise à résoudre le problème de positionnement de la caméra à partir d'images en vue perspective. Afin d'améliorer l'estimation de la position, nous introduisons une tâche auxiliaire de détection de voies 3D et des contraintes géométriques pour tirer parti de l'apprentissage multi-tâches, ce qui renforce les cohérences entre les dimensions 3D et 2D, ainsi que la compatibilité entre ces deux tâches. La deuxième étape se concentre sur la tâche de détection des voies 3D. Elle utilise la position estimée précédemment pour générer des images en vue aérienne présentant des apparences invariantes en distance, facilitant ainsi la prédiction précise des voies 3D. Les expérimentations montrent que notre méthode surpassent les méthodes actuelles basées sur des positions parfaitement calibrées sans nécessiter la vérité terrain concernant la position de la caméra et qu'elle possède le moins grand nombre de paramètres et d'opérations computationnelles. Le code source est disponible à l'adresse suivante : https://github.com/liuruijin17/CLGo.