FogAdapt : Adaptation de domaine auto-supervisée pour la segmentation sémantique d'images brumeuses

Cet article présente FogAdapt, une nouvelle approche d’adaptation de domaine pour la segmentation sémantique dans les scènes fortement brumeuses. Bien que des recherches importantes aient été menées afin de réduire le décalage de domaine en segmentation sémantique, l’adaptation aux scènes affectées par des conditions météorologiques défavorables reste une question ouverte. Les fortes variations de visibilité causées par des conditions climatiques telles que la brume, le brouillard ou l’opacité atmosphérique aggravent le décalage de domaine, rendant ainsi l’adaptation non supervisée dans ces scénarios particulièrement difficile. Nous proposons une méthode d’adaptation de domaine auto-supervisée augmentée par l’entropie propre et des informations multi-échelles (FogAdapt), visant à minimiser le décalage de domaine dans la segmentation des scènes brumeuses. S’appuyant sur des preuves empiriques indiquant qu’une augmentation de la densité de la brume entraîne une entropie propre élevée pour les probabilités de segmentation, nous introduisons une fonction de perte basée sur l’entropie propre afin de guider la méthode d’adaptation. En outre, les inférences obtenues à différentes échelles d’image sont combinées et pondérées selon leur incertitude afin de générer des pseudo-étiquettes invariantes à l’échelle pour le domaine cible. Ces pseudo-étiquettes invariantes à l’échelle sont robustes aux variations de visibilité et d’échelle. Nous évaluons le modèle proposé dans deux scénarios : adaptation de scènes réelles en conditions claires vers des scènes réelles brumeuses, et adaptation d’images synthétiques non brumeuses vers des scènes réelles brumeuses. Nos expériences démontrent que FogAdapt surpasse significativement les méthodes d’état de l’art actuelles en segmentation sémantique des images brumeuses. Plus précisément, dans les configurations standards comparées aux méthodes d’état de l’art (SOTA), FogAdapt obtient une amélioration de 3,8 % sur Foggy Zurich, de 6,0 % sur Foggy Driving-dense, et de 3,6 % sur Foggy Driving en mIoU lors de l’adaptation depuis Cityscapes vers Foggy Zurich.