Détection simultanée de mauvaises classifications et d’out-of-distribution pour la segmentation sémantique via un flot normalisant basé sur l’énergie

Les modèles récents de segmentation sémantique parviennent à classifier avec précision les exemples testés qui sont similaires à la distribution des données d'entraînement. Toutefois, leur approche discriminative à ensemble fermé se révèle peu robuste dans des configurations de données réelles présentant des décalages de distribution et des classes hors distribution (OOD). En conséquence, les probabilités prédites peuvent être très imprécises lorsqu'elles sont utilisées comme mesures de confiance au moment du test. Pour remédier à ce problème, nous proposons un modèle génératif permettant une détection simultanée des erreurs de classification intra-distribution (IDM) et des classes OOD, fondé sur un cadre à flow de normalisation. Le détecteur basé sur les flows avec entrées fondées sur une énergie (FlowEneDet) peut être intégré aux modèles de segmentation déjà déployés sans nécessiter de re-entraînement coûteux en temps. FlowEneDet offre une architecture à faible complexité, avec une augmentation négligeable de la charge mémoire. Les résultats obtenus par FlowEneDet sont prometteurs sur les benchmarks Cityscapes, Cityscapes-C, FishyScapes et SegmentMeIfYouCan, dans le cadre de la détection IDM/OOD appliquée aux modèles pré-entraînés DeepLabV3+ et SegFormer pour la segmentation sémantique.