Apprentissage peu supervisé auto-supervisé pour la segmentation sémantique : une approche sans annotation

La segmentation sémantique à peu de exemples (FSS, few-shot semantic segmentation) présente un potentiel considérable dans le domaine de l’analyse d’images médicales, permettant une segmentation précise des objets à partir de très peu de données d’entraînement. Toutefois, les méthodes FSS existantes dépendent fortement des classes sémantiques annotées, ce qui les rend peu adaptées aux images médicales, où les annotations sont rares. Pour surmonter ce défi, nous proposons plusieurs contributions originales : premièrement, inspirés par les méthodes de décomposition spectrale, nous reformulons le problème de décomposition d’image comme une tâche de partitionnement de graphe. Les vecteurs propres de la matrice laplacienne, extraits à partir de la matrice d’affinité des caractéristiques issues de réseaux auto-supervisés, sont analysés afin d’estimer la distribution des objets d’intérêt à partir des images de support. Deuxièmement, nous introduisons un nouveau cadre FSS auto-supervisé qui ne nécessite aucune annotation. À la place, il estime de manière adaptative le masque de requête en exploitant les vecteurs propres extraits des images de support. Cette approche élimine la nécessité d’annotations manuelles, la rendant particulièrement adaptée aux images médicales dont les données annotées sont limitées. Troisièmement, afin d’améliorer davantage la décodification de l’image de requête à partir des informations fournies par l’image de support, nous proposons un module d’attention à noyau large à multiples échelles. En mettant en évidence de manière sélective les caractéristiques et détails pertinents, ce module renforce le processus de segmentation et contribue à une meilleure délimitation des objets. Des évaluations menées sur des jeux de données d’images naturelles et médicales démontrent l’efficacité et la robustesse de notre méthode. En outre, l’approche proposée se distingue par sa généralité et son caractère indépendant du modèle, permettant une intégration fluide avec diverses architectures profondes. Le code source est disponible publiquement sur \href{https://github.com/mindflow-institue/annotation_free_fewshot}{\textcolor{magenta}{GitHub}}.