Adaptation Multiple de Fusion : Un Cadre Robuste pour l'Adaptation de la Segmentation Sémantique Non Supervisée

Ce travail relève le défi de la segmentation sémantique inter-domaines, visant à améliorer la précision de segmentation sur le domaine cible non étiqueté sans nécessiter d'annotations supplémentaires. En utilisant un pipeline d'adaptation de domaine non supervisée basé sur des pseudo-étiquettes (UDA), nous proposons une nouvelle et efficace méthode d'Adaptation Multiple par Fusion (MFA). L'MFA considère essentiellement trois stratégies parallèles de fusion d'informations, à savoir la fusion inter-modèles, la fusion temporelle et une nouvelle fusion de pseudo-étiquettes en ligne-hors ligne. Plus précisément, la fusion de pseudo-étiquettes en ligne-hors ligne incite l'entraînement adaptatif à porter une attention supplémentaire aux régions difficiles qui sont facilement négligées par les pseudo-étiquettes hors ligne, permettant ainsi de conserver plus de détails informatifs. Bien que les deux autres stratégies de fusion puissent sembler standards, l'MFA consacre des efforts importants pour améliorer l'efficacité et l'efficience de l'intégration, et réussit à intégrer les trois stratégies dans un cadre unifié. Les expériences menées sur deux benchmarks largement utilisés, à savoir GTA5 vers Cityscapes et SYNTHIA vers Cityscapes, montrent que notre méthode améliore significativement l'adaptation de la segmentation sémantique et établit de nouveaux états de l'art (58,2 % et 62,5 % mIoU respectivement). Le code sera disponible sur https://github.com/KaiiZhang/MFA.