VBLC : Apprentissage par renforcement de la visibilité et par contrainte de logit pour la segmentation sémantique adaptative de domaine en conditions défavorables

Généraliser des modèles entraînés dans des conditions visuelles normales à des domaines cibles soumis à des conditions défavorables constitue un défi majeur dans les systèmes pratiques. Une solution courante consiste à réduire l’écart entre les domaines existant entre les images prises dans des conditions normales et celles prises dans des conditions défavorables, afin d’obtenir des prédictions satisfaisantes sur le domaine cible. Toutefois, les méthodes précédentes reposent souvent sur des images de référence supplémentaires de la même scène, prises dans des conditions normales, ce qui s’avère très difficile à réaliser en pratique. En outre, la plupart de ces approches se concentrent principalement sur une seule condition défavorable — comme la nuit ou le brouillard — ce qui limite la capacité du modèle à s’adapter à d’autres conditions météorologiques défavorables. Pour surmonter ces limitations, nous proposons un cadre novateur, appelé Visibility Boosting and Logit-Constraint learning (VBLC), spécifiquement conçu pour une adaptation efficace des conditions normales vers les conditions défavorables. VBLC exploite le potentiel d’éliminer la dépendance aux images de référence tout en traitant simultanément des combinaisons complexes de conditions défavorables. Plus précisément, nous introduisons tout d’abord un module de renforcement de visibilité, capable d’améliorer dynamiquement les images cibles en s’appuyant sur des priori au niveau de l’image. Ensuite, nous identifions le défaut de surenchère de confiance inhérent à la fonction de perte classique de cross-entropy dans les méthodes d’auto-entraînement, et proposons une nouvelle stratégie appelée apprentissage par contrainte sur les logits, qui impose une contrainte sur les sorties logit durant l’entraînement afin de pallier ce problème. À notre connaissance, cette approche représente une perspective originale pour aborder ce défi complexe. Des expériences étendues sur deux benchmarks d’adaptation de domaine normal vers défavorable — à savoir Cityscapes → ACDC et Cityscapes → FoggyCityscapes + RainCityscapes — confirment l’efficacité de VBLC, qui établit une nouvelle référence en termes d’état de l’art. Le code est disponible à l’adresse suivante : https://github.com/BIT-DA/VBLC.