HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Réseau de projection sémantique pour la segmentation sémantique à zéro ou à peu d'étiquettes

{ Zeynep Akata Bernt Schiele Yang He Subhabrata Choudhury Yongqin Xian}

Réseau de projection sémantique pour la segmentation sémantique à zéro ou à peu d'étiquettes

Résumé

La segmentation sémantique est l’un des problèmes fondamentaux en vision par ordinateur, et l’étiquetage au niveau des pixels s’avère particulièrement coûteux en termes d’effort d’annotation. Ainsi, plusieurs approches ont été proposées afin de réduire cet effort, notamment l’apprentissage à partir d’étiquettes au niveau des images ou d’annotations par boîtes englobantes. Dans cet article, nous allons plus loin en nous concentrant sur la tâche exigeante d’apprentissage zéro- et peu-fonds pour la segmentation sémantique. Nous définissons cette tâche comme la segmentation d’images par attribution d’une étiquette à chaque pixel, même lorsque aucune instance étiquetée de cette classe n’était présente durant l’entraînement — ce que nous appelons la segmentation sémantique zéro-étiquette — ou lorsque seules quelques instances étiquetées étaient disponibles — segmentation sémantique peu-étiquette. Notre objectif est de transférer les connaissances acquises à partir des classes précédemment observées vers des classes nouvelles. Notre réseau de projection sémantique (SPNet) atteint cet objectif en intégrant de manière end-to-end des informations sémantiques au niveau des classes dans tout réseau conçu pour la segmentation sémantique. Nous proposons également un benchmark pour cette tâche sur les jeux de données exigeants COCO-Stuff et PASCAL VOC12. Notre modèle s’avère efficace pour segmenter des classes nouvelles, réduisant ainsi le besoin d’étiquetages denses coûteux, tout en s’adaptant à ces nouvelles classes sans oublier ses connaissances antérieures, ce qui correspond à une segmentation sémantique généralisée zéro- et peu-étiquette.

Benchmarks

BenchmarkMéthodologieMétriques
zero-shot-semantic-segmentation-on-coco-stuffSPNet
Inductive Setting hIoU: 14.0
Transductive Setting hIoU: 30.3
zero-shot-semantic-segmentation-on-pascal-vocSPNet
Transductive Setting hIoU: 38.8

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau de projection sémantique pour la segmentation sémantique à zéro ou à peu d'étiquettes | Articles de recherche | HyperAI