HyperAIHyperAI

Command Palette

Search for a command to run...

Découverte de masques d’objets avec des Transformers pour une segmentation sémantique non supervisée

Wouter Van Gansbeke Simon Vandenhende Luc Van Gool

Résumé

La tâche de segmentation sémantique non supervisée vise à regrouper les pixels en classes sémantiquement significatives. Plus précisément, les pixels attribués au même cluster doivent partager des propriétés sémantiques de haut niveau, telles que leur catégorie d’objet ou de partie. Ce papier présente MaskDistill : un cadre novateur pour la segmentation sémantique non supervisée fondé sur trois idées clés. Premièrement, nous proposons une stratégie pilotée par les données afin de générer des masques d’objets qui servent de prior sur le regroupement des pixels pour la segmentation sémantique. Cette approche élimine les priors manuellement conçus, souvent spécifiquement adaptés à des compositions scéniques particulières et qui limitent la généralisation des cadres concurrents. Deuxièmement, MaskDistill regroupe les masques d’objets afin d’obtenir des étiquettes pseudo-vérité terrain pour entraîner un modèle initial de segmentation d’objets. Troisièmement, nous exploitons ce modèle pour filtrer les masques d’objets de faible qualité. Cette stratégie réduit le bruit présent dans notre prior de regroupement des pixels et permet d’obtenir une collection propre de masques, utilisée pour entraîner un modèle final de segmentation. En combinant ces composants, nous surpassons considérablement les approches antérieures pour la segmentation sémantique non supervisée sur PASCAL (+11 % de mIoU) et COCO (+4 % de mask AP50). De façon intéressante, contrairement aux méthodes existantes, notre cadre ne s’appuie pas sur des indices d’image de bas niveau et n’est pas limité aux jeux de données centrés sur les objets. Le code et les modèles seront rendus disponibles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Découverte de masques d’objets avec des Transformers pour une segmentation sémantique non supervisée | Articles | HyperAI