HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage automatique des parties d'objets pour la segmentation sémantique

Adrian Ziegler Yuki M. Asano

Résumé

Les progrès réalisés dans l’apprentissage auto-supervisé ont conduit au développement de méthodes puissantes pour l’apprentissage de représentations d’images généralisables. Toutefois, ces approches se sont principalement concentrées sur l’apprentissage au niveau de l’image, laissant de côté des tâches telles que la segmentation d’images non supervisée, qui nécessitent des représentations spatialement diversifiées. Or, l’apprentissage de représentations denses s’avère particulièrement difficile dans un cadre non supervisé, car il n’est pas clair comment guider le modèle pour qu’il apprenne des représentations correspondant à diverses catégories d’objets potentielles. Dans cet article, nous proposons que l’apprentissage auto-supervisé de parties d’objets constitue une solution à ce problème. En effet, les parties d’objets sont généralisables : elles sont a priori indépendantes de la définition d’un objet, mais peuvent être regroupées a posteriori pour former des objets. À cette fin, nous exploitons la capacité récemment proposée des Vision Transformers à s’attarder sur des objets, et nous la combinons avec une tâche de clustering dense spatialement pour ajuster finement les tokens spatiaux. Notre méthode dépasse l’état de l’art sur trois benchmarks de segmentation sémantique, avec une amélioration allant de 3 % à 17 %, ce qui démontre la polyvalence de nos représentations face à différentes définitions d’objets. Enfin, nous étendons cette approche à la segmentation entièrement non supervisée — qui ne fait aucun usage d’informations d’étiquetage, même au moment du test — et montrons qu’une méthode simple de fusion automatique des parties d’objets découvertes, basée sur la détection de communautés, permet d’obtenir des gains significatifs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp