RTFNet : Réseau de Fusion RGB-Thermique pour la Segmentation Sémantique des Scènes Urbaines

La segmentation sémantique est une capacité fondamentale pour les véhicules autonomes. Grâce aux progrès des technologies d'apprentissage profond, de nombreuses architectures efficaces de segmentation sémantique ont été proposées ces dernières années. Toutefois, la plupart d'entre elles sont conçues à partir d'images RGB provenant de caméras visibles. La qualité de ces images RGB est sujette à dégradation dans des conditions d'éclairage défavorables, telles que l'obscurité ou les éblouissements causés par les phares des véhicules venant en sens inverse, ce qui pose des défis critiques aux réseaux ne s'appuyant que sur des images RGB. Contrairement aux caméras visibles, les caméras thermiques produisent des images à partir de rayonnements thermiques et sont capables de fonctionner dans diverses conditions d'éclairage. Afin de permettre une segmentation sémantique robuste et précise pour les véhicules autonomes, nous exploitons les images thermiques et fusionnons de manière innovante les informations RGB et thermiques au sein d'un nouveau réseau neuronal profond. L'innovation principale de cette lettre réside dans l'architecture du réseau proposé. Nous adoptons un concept d'encodeur-décodeur, utilisons ResNet pour l'extraction de caractéristiques et développons un nouveau décodeur afin de restaurer la résolution de la carte de caractéristiques. Les résultats expérimentaux démontrent que notre réseau surpasse les méthodes de l'état de l'art.