Deep MANTA : Un réseau de tâches multiples par approche hiérarchique pour l'analyse conjointe 2D et 3D des véhicules à partir d'une image monoculaire

Dans cet article, nous présentons une nouvelle approche appelée Deep MANTA (Deep Many-Tasks) pour l'analyse de véhicules à partir d'une image donnée. Nous introduisons un réseau convolutif robuste capable de détecter les véhicules, de localiser leurs parties, de caractériser leur visibilité et d'estimer leurs dimensions en 3D simultanément. L'architecture de ce réseau repose sur une nouvelle proposition d'objet allant du grossier au fin, qui améliore la détection des véhicules. De plus, le réseau Deep MANTA est capable de localiser les parties des véhicules même si celles-ci ne sont pas visibles. Pendant l'inférence, les sorties du réseau sont utilisées par un algorithme de estimation de pose en temps réel et robuste pour une estimation précise de l'orientation et une localisation en 3D des véhicules. Nos expériences montrent que notre méthode surpassent les approches mono-oculaires les plus avancées en termes de détection de véhicules, d'estimation d'orientation et de localisation en 3D sur le très exigeant benchmark KITTI.