CAT-Seg : Agrégation de coût pour la segmentation sémantique à vocabulaire ouvert

La segmentation sémantique à vocabulaire ouvert présente le défi de catégoriser chaque pixel d'une image en se basant sur une large gamme de descriptions textuelles. Dans ce travail, nous proposons une nouvelle approche fondée sur les coûts pour adapter les modèles fondamentaux vision-langage, notamment CLIP, à la tâche complexe de segmentation sémantique. En agrégeant le score de similarité cosinus, c’est-à-dire le volume de coût entre les embeddings image et texte, notre méthode permet une adaptation efficace de CLIP pour la segmentation des classes vues comme des classes non vues, en ajustant finement ses encodeurs, ce qui permet de surmonter les difficultés rencontrées par les méthodes existantes face aux classes inconnues. En s’appuyant sur cette base, nous explorons des méthodes pour agréger efficacement le volume de coût, en tenant compte de sa nature multi-modale, établie entre les embeddings image et texte. Par ailleurs, nous étudions diverses stratégies d’ajustement fin (fine-tuning) efficace de CLIP.