Mixup Aware du Contexte pour la Segmentation Sémantique Adaptative de Domaine

L’adaptation de domaine non supervisée (UDA) vise à adapter un modèle entraîné sur un domaine source étiqueté à un domaine cible non étiqueté. Les approches existantes basées sur l’UDA pour la segmentation sémantique réduisent généralement les écarts entre domaines au niveau pixel, au niveau des caractéristiques et au niveau des sorties. Toutefois, presque toutes négligent largement la dépendance contextuelle, qui est généralement partagée entre différents domaines, conduisant à des performances inférieures à celles attendues. Dans ce papier, nous proposons un cadre novateur, appelé Context-Aware Mixup (CAMix), pour la segmentation sémantique adaptative par domaine, exploitant de manière explicite et end-to-end entièrement entraînable cette information cruciale de dépendance contextuelle afin d’améliorer l’adaptabilité au domaine cible. Premièrement, nous introduisons une stratégie de génération de masque contextuel fondée sur les distributions spatiales accumulées et les relations contextuelles a priori. Ce masque contextuel joue un rôle central dans notre approche et guide la mixup adaptative au contexte à trois niveaux distincts. Par ailleurs, en exploitant les connaissances contextuelles, nous proposons une perte de consistance réévaluée par la signification, qui pénalise l’incohérence entre les prédictions du modèle étudiant mixé et celles du modèle enseignant mixé, atténuant ainsi le transfert négatif de l’adaptation, par exemple la dégradation précoce des performances. Des expériences abondantes et une analyse approfondie démontrent l’efficacité de notre méthode par rapport aux approches de pointe sur des benchmarks UDA largement utilisés.