Suivi 3D multi-objet à partir d'une seule caméra en utilisant des détections par apprentissage profond et filtrage PMBM

Les caméras monoculaires sont parmi les capteurs les plus couramment utilisés dans l'industrie automobile pour les véhicules autonomes. Un inconvénient majeur de l'utilisation d'une caméra monoculaire est qu'elle ne fait que des observations dans le plan d'image bidimensionnel et ne peut pas mesurer directement la distance aux objets. Dans cet article, nous visons à combler cette lacune en développant un algorithme de suivi multi-objets qui prend une image en entrée et produit des trajectoires des objets détectés dans un système de coordonnées du monde réel. Nous résolvons ce problème en utilisant un réseau neuronal profond formé pour détecter et estimer la distance aux objets à partir d'une seule image d'entrée. Les détections issues d'une séquence d'images sont ensuite intégrées à un filtre de suivi Poisson multi-Bernoulli (PMBM) de pointe. La combinaison du détecteur appris et du filtre PMBM aboutit à un algorithme capable de réaliser le suivi 3D en utilisant uniquement des images de caméra monoculaire comme entrée. Les performances de l'algorithme sont évaluées tant dans les coordonnées mondiales 3D que dans les coordonnées d'image 2D, en utilisant le jeu de données KITTI pour le suivi d'objets, disponible publiquement. L'algorithme montre sa capacité à suivre précisément les objets, à gérer correctement les associations de données, même lorsque les objets se chevauchent considérablement dans l'image, et figure parmi les meilleurs algorithmes sur le banc d'essai KITTI pour le suivi d'objets. De plus, l'algorithme est efficace, avec une moyenne de près de 20 images par seconde.