Command Palette
Search for a command to run...
Réseau de projection sémantique pour la segmentation sémantique à zéro ou à peu d'étiquettes
{ Zeynep Akata Bernt Schiele Yang He Subhabrata Choudhury Yongqin Xian}

Résumé
La segmentation sémantique est l’un des problèmes fondamentaux en vision par ordinateur, et l’étiquetage au niveau des pixels s’avère particulièrement coûteux en termes d’effort d’annotation. Ainsi, plusieurs approches ont été proposées afin de réduire cet effort, notamment l’apprentissage à partir d’étiquettes au niveau des images ou d’annotations par boîtes englobantes. Dans cet article, nous allons plus loin en nous concentrant sur la tâche exigeante d’apprentissage zéro- et peu-fonds pour la segmentation sémantique. Nous définissons cette tâche comme la segmentation d’images par attribution d’une étiquette à chaque pixel, même lorsque aucune instance étiquetée de cette classe n’était présente durant l’entraînement — ce que nous appelons la segmentation sémantique zéro-étiquette — ou lorsque seules quelques instances étiquetées étaient disponibles — segmentation sémantique peu-étiquette. Notre objectif est de transférer les connaissances acquises à partir des classes précédemment observées vers des classes nouvelles. Notre réseau de projection sémantique (SPNet) atteint cet objectif en intégrant de manière end-to-end des informations sémantiques au niveau des classes dans tout réseau conçu pour la segmentation sémantique. Nous proposons également un benchmark pour cette tâche sur les jeux de données exigeants COCO-Stuff et PASCAL VOC12. Notre modèle s’avère efficace pour segmenter des classes nouvelles, réduisant ainsi le besoin d’étiquetages denses coûteux, tout en s’adaptant à ces nouvelles classes sans oublier ses connaissances antérieures, ce qui correspond à une segmentation sémantique généralisée zéro- et peu-étiquette.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| zero-shot-semantic-segmentation-on-coco-stuff | SPNet | Inductive Setting hIoU: 14.0 Transductive Setting hIoU: 30.3 |
| zero-shot-semantic-segmentation-on-pascal-voc | SPNet | Transductive Setting hIoU: 38.8 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.