Segmentation d'images universelle non supervisée

Plusieurs approches de segmentation d'images non supervisée ont été proposées, éliminant ainsi la nécessité de masques de segmentation manuellement annotés en détail ; cependant, les modèles actuels traitent séparément soit la segmentation sémantique (par exemple, STEGO) ou la segmentation d'instances indépendante des classes (par exemple, CutLER), mais pas les deux simultanément (c'est-à-dire la segmentation panoptique). Nous proposons un modèle de Segmentation Universelle Non Supervisé (U2Seg) capable d'effectuer diverses tâches de segmentation d'images – instances, sémantique et panoptique – à l'aide d'un cadre unifié novateur. U2Seg génère des étiquettes sémantiques pseudo pour ces tâches de segmentation en exploitant des modèles auto-supervisés suivis d'un regroupement ; chaque cluster représente différentes appartenances sémantiques et/ou d'instances des pixels. Nous procédons ensuite à une auto-formation du modèle sur ces étiquettes sémantiques pseudo, ce qui entraîne des gains de performance substantiels par rapport aux méthodes spécialisées adaptées à chaque tâche : une amélioration de +2,6 AP$^{\text{boîte}}$ par rapport à CutLER dans la segmentation d'instances non supervisée sur COCO et une augmentation de +7,0 PixelAcc (par rapport à STEGO) dans la segmentation sémantique non supervisée sur COCOStuff. De plus, notre méthode établit une nouvelle référence pour la segmentation panoptique non supervisée, un domaine qui n'avait pas encore été exploré. U2Seg est également un modèle préformé robuste pour la segmentation avec peu d'exemples, dépassant CutLER de +5,0 AP$^{\text{masque}}$ lorsqu'il est formé dans un régime à faible quantité de données, par exemple avec seulement 1% des étiquettes COCO. Nous espérons que notre méthode simple mais efficace inspirera davantage de recherches sur la segmentation universelle d'images non supervisée.