Adaptation guidée du modèle de curriculum et évaluation prenant en compte l'incertitude pour la segmentation sémantique d'images nocturnes
La plupart des progrès en segmentation sémantique sont rapportés sur des images diurnes prises dans des conditions d'éclairage favorables. Nous abordons, quant à nous, le problème de la segmentation sémantique des images nocturnes et améliorons l'état de l'art en adaptant les modèles diurnes à la nuit sans utiliser d'annotations nocturnes. De plus, nous concevons un nouveau cadre d'évaluation pour traiter l'incertitude substantielle des sémantiques dans les images nocturnes. Nos contributions centrales sont les suivantes : 1) un cadre de programme pédagogique (curriculum framework) pour adapter progressivement les modèles de segmentation sémantique du jour à la nuit grâce à des images synthétiques étiquetées et à des images réelles non étiquetées, toutes deux pour des moments de la journée de plus en plus sombres, exploitant les correspondances inter-temporelles des images réelles pour guider l'inférence de leurs labels ; 2) un nouveau cadre d'annotation et d'évaluation prenant en compte l'incertitude et une métrique pour la segmentation sémantique, conçus pour les conditions défavorables et incluant de manière rigoureuse dans l'évaluation les régions d'image au-delà de la capacité de reconnaissance humaine ; 3) le jeu de données Dark Zurich, qui comprend 2416 images nocturnes non étiquetées et 2920 images crépusculaires non étiquetées avec des correspondances à leurs équivalents diurnes, ainsi qu'un ensemble de 151 images nocturnes avec des annotations au niveau pixel finement créées selon notre protocole, servant de premier banc d'essai pour effectuer notre nouvelle évaluation. Les expériences montrent que notre adaptation guidée par le programme pédagogique (curriculum adaptation) dépasse significativement les méthodes actuelles sur des ensembles réels nocturnes tant pour les métriques standards que pour notre métrique prenant en compte l'incertitude. De plus, notre évaluation prenant en compte l'incertitude révèle que l'invalidation sélective des prédictions peut conduire à de meilleurs résultats sur des données à contenu ambigu comme notre banc d'essai nocturne et bénéficier aux applications orientées sécurité impliquant des entrées invalides.