UniMatch V2 : Repousser les limites de la segmentation sémantique semi-supervisée

La segmentation sémantique semi-supervisée (SSS) vise à apprendre des connaissances visuelles riches à partir d'images non étiquetées peu coûteuses pour améliorer les capacités de segmentation sémantique. Parmi les travaux récents, UniMatch a considérablement surpassé ses prédécesseurs en intensifiant la pratique de la régularisation de cohérence faible-forte. Les travaux ultérieurs suivent généralement des pipelines similaires et proposent diverses conceptions élaborées. Malgré les progrès réalisés, il est étrange que, dans cette ère prolifique de nombreux modèles visuels puissants, presque tous les travaux sur la SSS continuent d'utiliser 1) des encodeurs ResNet obsolètes avec une préformation sur le petit ensemble ImageNet-1K, et 2) d'évaluer leurs performances sur des ensembles de données simples tels que Pascal et Cityscapes. Dans ce travail, nous soutenons qu'il est nécessaire de passer du baseline basé sur ResNet à des encodeurs plus performants basés sur ViT (par exemple, DINOv2), qui sont préformés sur des données massives. Une simple mise à jour de l'encodeur (même en utilisant 2 fois moins de paramètres) peut apporter une amélioration plus significative que des conceptions méthodiques soigneuses. Sur cette base compétitive, nous présentons notre version améliorée et simplifiée UniMatch V2, qui hérite de l'esprit central de la cohérence faible-forte de V1, mais nécessite un coût d'entraînement moindre et fournit des résultats constamment meilleurs. De plus, constatant que les performances sur Pascal et Cityscapes tendent à se saturer progressivement, nous plaidons pour que l'on se concentre davantage sur des benchmarks plus difficiles avec une taxonomie complexe, tels que les ensembles de données ADE20K et COCO. Le code source, les modèles et les journaux de toutes les valeurs rapportées sont disponibles à l'adresse suivante : https://github.com/LiheYoung/UniMatch-V2.