AllSpark : Redéfinition des Caractéristiques Étiquetées à Partir de Non-Étiquetées dans les Transformers pour la Segmentation Sémantique Semi-Supervisée

La segmentation sémantique semi-supervisée (SSSS) a été proposée pour atténuer la charge de l'étiquetage manuel au niveau des pixels, qui est une tâche chronophage. Cette méthode exploite des données étiquetées limitées ainsi qu'une quantité plus importante de données non étiquetées. Les méthodes actuelles les plus performantes forment les données étiquetées avec des vérités terrain et les données non étiquetées avec des pseudo-étiquettes. Cependant, ces deux flux d'entraînement sont séparés, ce qui permet aux données étiquetées de dominer le processus d'entraînement, entraînant des pseudo-étiquettes de faible qualité et, par conséquent, des résultats sous-optimaux. Pour atténuer ce problème, nous présentons AllSpark, qui régénère les caractéristiques étiquetées à partir de caractéristiques non étiquetées grâce au mécanisme d'attention croisée par canal. Nous introduisons également une Mémoire Sémantique accompagnée d'une stratégie de Groupement Sémantique par Canal pour garantir que les caractéristiques non étiquetées représentent adéquatement les caractéristiques étiquetées. AllSpark apporte un nouvel éclairage sur les conceptions architecturales du SSSS plutôt que sur celles du cadre général, évitant ainsi une complexification croissante des pipelines d'entraînement. Il peut également être considéré comme un module flexible de goulot d'étranglement qui peut être intégré sans heurt dans un modèle de segmentation basé sur un transformateur général. Le AllSpark proposé surpasses toutes les méthodes existantes dans tous les protocoles d'évaluation sur les bancs d'essai Pascal, Cityscapes et COCO, sans recours à des techniques complémentaires complexes (bells-and-whistles). Le code source et les poids du modèle sont disponibles à l'adresse suivante : https://github.com/xmed-lab/AllSpark.