DooDLeNet : Fusion de caractéristiques améliorée par double DeepLab pour la segmentation sémantique thermique et couleur

Dans cet article, nous présentons une nouvelle approche de fusion de caractéristiques entre les images RGB et LWIR thermiques pour la tâche de segmentation sémantique en perception de conduite. Nous proposons DooDLeNet, une architecture double DeepLab dotée d'encodeur-décodeurs spécialisés pour les modalités thermiques et colorées, ainsi qu'un décodeur partagé pour la segmentation finale. Nous combinons deux stratégies de fusion de caractéristiques : le pondérage par confiance et le pondérage par corrélation. Nous rapportons des résultats moyens d'IoU (Intersection over Union) à l'état de l'art sur le jeu de données MF.