Détection et suivi monoculars 3D conjoints de véhicules

Les dimensions 3D et les trajectoires des véhicules sont des indices cruciaux pour prédire leur emplacement futur et planifier le mouvement égocentrique futur des agents en fonction de ces prédictions. Dans cet article, nous proposons un nouveau cadre en ligne pour la détection et le suivi 3D des véhicules à partir de vidéos monoculaires. Ce cadre non seulement associe les détections de véhicules en mouvement dans le temps, mais il est également capable d'estimer leurs informations complètes sur la boîte englobante 3D à partir d'une séquence d'images 2D capturées sur une plateforme mobile. Notre méthode utilise l'appariement par ordre de profondeur des boîtes 3D pour une association d'instances robuste et tire parti de la prédiction de trajectoire 3D pour réidentifier les véhicules occultés. Nous avons également conçu un module d'apprentissage du mouvement basé sur un LSTM (Long Short-Term Memory) pour une extrapolation du mouvement à long terme plus précise. Nos expériences sur des données de simulation, KITTI et Argoverse montrent que notre pipeline de suivi 3D offre une association de données et un suivi robustes. Sur Argoverse, notre méthode basée sur les images est significativement meilleure pour le suivi des véhicules 3D dans un rayon de 30 mètres que les méthodes centrées sur le LiDAR (Light Detection And Ranging).