Une architecture profonde hiérarchique et une méthode de sélection de mini-lots pour la détection conjointe des panneaux de signalisation et des feux de circulation

Les détecteurs de feux de signalisation et de panneaux sur les voitures autonomes sont essentiels pour la perception des scènes routières. La littérature regorge de réseaux d'apprentissage profond capables de détecter soit les feux, soit les panneaux, mais pas les deux simultanément, ce qui les rend inadaptés à une utilisation en conditions réelles en raison des limitations de mémoire et de puissance des unités de traitement graphique (GPU) disponibles sur les systèmes embarqués. La cause principale de ce problème est l'absence d'un jeu de données public contenant à la fois des étiquettes pour les feux de signalisation et les panneaux, ce qui complique le développement d'une architecture de détection conjointe. Nous présentons une architecture hiérarchique profonde associée à un mécanisme de sélection par lots miniatures qui permet à un réseau de détecter à la fois les feux de signalisation et les panneaux en s'entraînant sur des jeux de données distincts pour chaque type. Notre méthode résout le problème d'overlap où les instances d'un jeu de données ne sont pas étiquetées dans l'autre jeu. Nous sommes les premiers à présenter un réseau capable de réaliser une détection conjointe des feux de signalisation et des panneaux. Nous évaluons notre réseau sur le benchmark Tsinghua-Tencent 100K pour la détection des panneaux et sur le benchmark Bosch Small Traffic Lights pour la détection des feux, montrant qu'il surpasse la méthode actuelle Bosch Small Traffic Light state-of-the-art. Nous nous concentrons sur le déploiement dans les voitures autonomes et démontrons que notre réseau est plus adapté que d'autres en raison de sa faible empreinte mémoire et de son temps de traitement d'image en temps réel. Les résultats qualitatifs peuvent être consultés à l'adresse suivante : https://youtu.be/_YmogPzBXOw