HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation Sémantique à Few-Shot Généralisée

Zhuotao Tian Xin Lai Li Jiang Shu Liu Michelle Shu Hengshuang Zhao Jiaya Jia

Résumé

L'entraînement de modèles de segmentation sémantique nécessite une grande quantité de données finement annotées, ce qui rend difficile leur adaptation rapide à de nouvelles classes ne satisfaisant pas cette condition. La Segmentation à Peu d'Exemples (FS-Seg) aborde ce problème avec de nombreuses contraintes. Dans cet article, nous présentons un nouveau benchmark appelé Segmentation Sémantique Généralisée à Peu d'Exemples (GFS-Seg), visant à analyser la capacité de généralisation de la segmentation simultanée des nouvelles catégories avec très peu d'exemples et des catégories de base avec suffisamment d'exemples. Il s'agit de la première étude montrant que les méthodes FS-Seg représentatives et précédemment considérées comme l'état de l'art sont insuffisantes en GFS-Seg, et que l'écart de performance provient principalement du cadre contraint de FS-Seg. Pour rendre GFS-Seg réalisable, nous avons établi une ligne de base GFS-Seg qui atteint une performance décente sans modification structurelle du modèle original. Ensuite, étant donné que le contexte est essentiel pour la segmentation sémantique, nous proposons l'apprentissage prototypique contextuel (Context-Aware Prototype Learning, CAPL) qui améliore considérablement les performances en 1) exploitant les connaissances a priori sur la co-occurrence issues des échantillons supports, et 2) enrichissant dynamiquement les informations contextuelles au classifieur, conditionnellement au contenu de chaque image requête. Les deux contributions ont été expérimentalement démontrées comme ayant une valeur pratique substantielle. Des expériences approfondies sur Pascal-VOC et COCO mettent en évidence l'efficacité du CAPL, et celui-ci se généralise bien à FS-Seg en obtenant des performances compétitives. Le code est disponible à l'adresse suivante : https://github.com/dvlab-research/GFS-Seg.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp