HRDA : Segmentation sémantique adaptative de domaine à haute résolution contextuelle

L'adaptation de domaine non supervisée (UDA) vise à adapter un modèle formé sur un domaine source (par exemple, des données synthétiques) à un domaine cible (par exemple, des données réelles) sans nécessiter d'annotations supplémentaires sur le domaine cible. Cette étude se concentre sur l'UDA pour la segmentation sémantique, car les annotations pixel par pixel du monde réel sont particulièrement coûteuses à obtenir. Comme les méthodes UDA pour la segmentation sémantique sont généralement intensives en mémoire GPU, la plupart des méthodes précédentes ne fonctionnent qu'avec des images réduites. Nous remettons en question cette conception car les prédictions à faible résolution échouent souvent à préserver les détails fins. L'alternative consistant à former le modèle avec des coupures aléatoires d'images haute résolution atténue ce problème mais manque de capturer les informations contextuelles robustes et à longue portée. Par conséquent, nous proposons HRDA, une approche de formation multi-résolution pour l'UDA, qui combine les avantages des petites coupures haute résolution pour préserver les détails fins de la segmentation et des grandes coupures basse résolution pour capturer les dépendances contextuelles à longue portée grâce à une attention d'échelle apprise, tout en maintenant une empreinte mémoire GPU maîtrisable. HRDA permet d'adapter les petits objets et de préserver les détails fins de la segmentation. Elle améliore considérablement les performances actuelles de l'état de l'art avec une augmentation de 5,5 mIoU pour GTA-to-Cityscapes et 4,9 mIoU pour Synthia-to-Cityscapes, atteignant ainsi des scores inédits de 73,8 et 65,8 mIoU respectivement. L'implémentation est disponible sur https://github.com/lhoyer/HRDA.