HyperAIHyperAI

Command Palette

Search for a command to run...

Calibration de la prédiction pour la segmentation sémantique généralisée en few-shot

Zhihe Lu Sen He Da Li Yi-Zhe Song Senior Member, IEEE Tao Xiang

Résumé

La segmentation sémantique à quelques exemples généralisée (GFSS) vise à segmenter chaque pixel d'une image en classes de base pour lesquelles il existe de nombreux exemples d'entraînement ou en classes nouvelles pour lesquelles il n'y a que très peu d'images d'entraînement par classe (par exemple, 1-5). Comparée à la segmentation sémantique à quelques exemples (FSS), largement étudiée et limitée à la segmentation des classes nouvelles, la GFSS est beaucoup moins explorée malgré son caractère plus pratique. Les approches existantes pour la GFSS reposent sur une fusion des paramètres du classifieur, combinant un classifieur de classe nouvelle nouvellement entraîné et un classifieur de classe de base pré-entraîné. Étant donné que les données d'entraînement sont dominées par les classes de base, cette méthode est inévitablement biaisée en faveur des classes de base.Dans ce travail, nous proposons un nouveau réseau de calibration des prédictions (PCN) pour résoudre ce problème. Au lieu de fusionner les paramètres du classifieur, nous fusionnons les scores produits séparément par les classifieurs de base et nouveaux. Pour garantir que les scores fusionnés ne soient pas biaisés vers les classes de base ou nouvelles, nous introduisons un nouveau module de calibration basé sur le Transformer. Il est connu que les caractéristiques de niveau inférieur sont plus utiles pour détecter les informations sur les contours dans une image d'entrée que celles de niveau supérieur. Par conséquent, nous construisons un module d'attention croisée qui guide la prédiction finale du classifieur en utilisant les caractéristiques multi-niveaux fusionnées.Cependant, les Transformers sont exigeants en termes de calcul. De manière cruciale, pour rendre l'entraînement du module d'attention croisée proposé réalisable au niveau des pixels, ce module est conçu sur la base de la covariance croisée entre caractéristiques et scores et entraîné épisodiquement afin qu'il soit généralisable lors des inférences. Des expériences approfondies menées sur PASCAL-5i5^{i}5i et COCO-20i20^{i}20i montrent que notre PCN surpass largement les alternatives state-of-the-art.Note: - "Generalized Few-shot Semantic Segmentation" est traduit par "segmentation sémantique à quelques exemples généralisée" (GFSS).- "Few-shot Semantic Segmentation" est traduit par "segmentation sémantique à quelques exemples" (FSS).- "Prediction Calibration Network" est traduit par "réseau de calibration des prédictions" (PCN).- Les noms des datasets "PASCAL-5i5^{i}5i" et "COCO-20i20^{i}20i" sont conservés tels quels car ils sont généralement utilisés sous ces formes dans la littérature scientifique francophone.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp