HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation sémantique non supervisée par distillation de correspondances de caractéristiques

Mark Hamilton Zhoutong Zhang Bharath Hariharan Noah Snavely William T. Freeman

Résumé

La segmentation sémantique non supervisée vise à découvrir et localiser des catégories sémantiquement pertinentes au sein de corpora d’images sans aucune forme d’annotation. Pour résoudre cette tâche, les algorithmes doivent produire des caractéristiques pour chaque pixel, qui soient à la fois sémantiquement significatives et suffisamment compactes pour former des clusters distincts. Contrairement aux travaux antérieurs qui atteignaient cet objectif via un cadre end-to-end unique, nous proposons de séparer l’apprentissage des caractéristiques de la compactification des clusters. Expérimentalement, nous montrons que les cadres actuels d’apprentissage non supervisé des caractéristiques génèrent déjà des représentations denses dont les corrélations sont sémantiquement cohérentes. Cette observation motive la conception de STEGO (Self-supervised Transformer with Energy-based Graph Optimization), un nouveau cadre qui transforme les caractéristiques non supervisées en étiquettes sémantiques discrètes de haute qualité. Au cœur de STEGO se trouve une nouvelle fonction de perte contrastive qui encourage les caractéristiques à former des clusters compacts tout en préservant leurs relations au sein du corpus. STEGO obtient une amélioration significative par rapport à l’état de l’art précédent, sur les défis de segmentation sémantique CocoStuff (+14 mIoU) et Cityscapes (+9 mIoU).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp