Voir plus clair la nuit : Vers une segmentation sémantique robuste la nuit grâce à la conversion d'images de jour en images de nuit

Actuellement, la segmentation sémantique montre une efficacité et une fiabilité remarquables dans des scénarios standards tels que les scènes diurnes avec de bonnes conditions d'éclairage. Cependant, en présence de conditions défavorables comme la nuit, la précision de la segmentation sémantique diminue considérablement. L'une des principales causes de ce problème est le manque de jeux de données annotés suffisants pour les scènes nocturnes. Dans cet article, nous proposons un cadre visant à atténuer le déclin de précision lorsqu'on applique la segmentation sémantique à des conditions défavorables, en utilisant des Réseaux Antagonistes Générateurs (GANs). Pour combler l'écart entre les domaines d'images diurnes et nocturnes, nous avons fait l'observation clé qu'il existe une quantité importante de jeux de données de segmentation dans des conditions standard, tels que ceux du BDD et notre jeu de données collecté ZJU, par rapport aux jeux de données dans des conditions défavorables.Notre cadre basé sur les GANs pour la segmentation sémantique nocturne comprend deux méthodes. Dans la première méthode, les GANs sont utilisés pour transformer les images nocturnes en images diurnes, permettant ainsi d'effectuer la segmentation sémantique à l'aide de modèles déjà robustes entraînés sur des jeux de données diurnes. Dans la deuxième méthode, nous utilisons les GANs pour traduire différentes proportions d'images diurnes du jeu de données en images nocturnes tout en conservant leurs étiquettes. De cette manière, il est possible de générer des jeux de données synthétiques nocturnes afin d'obtenir des modèles capables d'opérer robustement dans des conditions nocturnes.Dans nos expériences, la deuxième méthode améliore significativement les performances nocturnes, comme en témoignent les résultats quantitatifs obtenus par le calcul du Taux d'Intersection sur Union (IoU) et du Taux de Précision au Niveau des Pixels (Acc). Nous montrons également que les performances varient en fonction de la proportion d'images nocturnes synthétiques présentes dans le jeu de données, où le point optimal correspond aux performances les plus robustes tout au long du jour et de la nuit.