Harmonisation des classes de base et nouvelles : une approche contrastive inter-classes pour la segmentation généralisée à quelques exemples

Les méthodes actuelles pour la segmentation à faibles exemples (FSSeg) se sont principalement concentrées sur l'amélioration des performances des nouvelles classes tout en négligeant celles des classes de base. Pour surmonter cette limitation, la tâche de segmentation sémantique généralisée à faibles exemples (GFSSeg) a été introduite, visant à prédire des masques de segmentation pour les classes de base et les nouvelles classes. Cependant, les méthodes actuelles basées sur des prototypes ne prennent pas explicitement en compte la relation entre les classes de base et les nouvelles classes lors de la mise à jour des prototypes, ce qui entraîne une performance limitée dans l'identification des véritables catégories. Pour relever ce défi, nous proposons une perte contrastive inter-classes et une perte de relation inter-classes afin de réguler la mise à jour des prototypes et d'encourager une grande distance entre les prototypes provenant de différentes classes, permettant ainsi de distinguer les classes tout en maintenant les performances des classes de base. Notre approche proposée atteint de nouveaux résultats d'état de l'art pour la tâche de segmentation généralisée à faibles exemples sur les jeux de données PASCAL VOC et MS COCO.