HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation d'images universelle non supervisée

Dantong Niu†‡ Xudong Wang†‡ Xinyang Han* Long Lian Roei Herzig Trevor Darrell

Résumé

Plusieurs approches de segmentation d'images non supervisée ont été proposées, éliminant ainsi la nécessité de masques de segmentation manuellement annotés en détail ; cependant, les modèles actuels traitent séparément soit la segmentation sémantique (par exemple, STEGO) ou la segmentation d'instances indépendante des classes (par exemple, CutLER), mais pas les deux simultanément (c'est-à-dire la segmentation panoptique). Nous proposons un modèle de Segmentation Universelle Non Supervisé (U2Seg) capable d'effectuer diverses tâches de segmentation d'images – instances, sémantique et panoptique – à l'aide d'un cadre unifié novateur. U2Seg génère des étiquettes sémantiques pseudo pour ces tâches de segmentation en exploitant des modèles auto-supervisés suivis d'un regroupement ; chaque cluster représente différentes appartenances sémantiques et/ou d'instances des pixels. Nous procédons ensuite à une auto-formation du modèle sur ces étiquettes sémantiques pseudo, ce qui entraîne des gains de performance substantiels par rapport aux méthodes spécialisées adaptées à chaque tâche : une amélioration de +2,6 APboıˆte^{\text{boîte}}boıˆte par rapport à CutLER dans la segmentation d'instances non supervisée sur COCO et une augmentation de +7,0 PixelAcc (par rapport à STEGO) dans la segmentation sémantique non supervisée sur COCOStuff. De plus, notre méthode établit une nouvelle référence pour la segmentation panoptique non supervisée, un domaine qui n'avait pas encore été exploré. U2Seg est également un modèle préformé robuste pour la segmentation avec peu d'exemples, dépassant CutLER de +5,0 APmasque^{\text{masque}}masque lorsqu'il est formé dans un régime à faible quantité de données, par exemple avec seulement 1% des étiquettes COCO. Nous espérons que notre méthode simple mais efficace inspirera davantage de recherches sur la segmentation universelle d'images non supervisée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp