Qu’y a-t-il dans le noir

La segmentation sémantique est un élément fondamental des systèmes d’automatisation modernes. La plupart des travaux dans le domaine de la segmentation sémantique portent sur des scènes diurnes, dans des conditions météorologiques et d’éclairage favorables. Dans cet article, nous proposons une nouvelle architecture profonde, appelée NiSeNet, qui réalise la segmentation sémantique de scènes nocturnes grâce à une approche de cartographie de domaine entre données synthétiques et données réelles. Il s’agit d’un réseau à deux canaux : nous avons conçu un canal « Réel », basé sur DeepLabV3+ et couplé à une perte MSE (Mean Squared Error), afin de préserver les informations spatiales. En outre, nous avons introduit un canal « Adaptatif », dont le but est de réduire l’écart de domaine entre les images nocturnes synthétiques et réelles, tout en compensant les erreurs du canal « Réel ». En complément de cette architecture à deux canaux, nous avons proposé un nouveau schéma de fusion pour combiner les sorties des deux canaux. Par ailleurs, nous avons constitué un nouveau jeu de données, appelé Urban Night Driving Dataset (UNDD), comprenant 7 125 images non étiquetées (jour et nuit), ainsi que 75 images nocturnes annotées au niveau pixel avec des classes équivalentes à celles du jeu de données Cityscapes. Nous avons évalué notre méthode sur les jeux de données Berkeley Deep Drive, Mapillary, ainsi que sur UNDD, et montré que la méthode proposée dépasse les techniques de pointe en termes de précision et de qualité visuelle.