HyperAIHyperAI

Command Palette

Search for a command to run...

SIGN : Réseau génératif intégrant des informations spatiales pour la segmentation sémantique zéro-shot généralisée

Jiaxin Cheng Soumyaroop Nandi Prem Natarajan Wael Abd-Almageed

Résumé

Contrairement à la classification zéro-shot classique, la segmentation sémantique zéro-shot prédit une étiquette de classe au niveau des pixels plutôt qu’au niveau de l’image. En abordant les problèmes de segmentation sémantique zéro-shot, la nécessité de prédictions au niveau des pixels tenant compte du contexte spatial nous a amenés à intégrer des informations spatiales à l’aide d’un encodage de position. Nous améliorons l’encodage de position standard en introduisant le concept d’encodage de position relative, qui intègre l’information spatiale au niveau des caractéristiques et permet de traiter des tailles d’image arbitraires. Par ailleurs, bien que l’auto-entraînement soit largement utilisé en segmentation sémantique zéro-shot pour générer des pseudo-étiquettes, nous proposons une nouvelle stratégie d’auto-entraînement inspirée de la distillation de connaissances, appelée Auto-entraînement avec recuit (Annealed Self-Training), capable d’attribuer automatiquement une importance différente aux pseudo-étiquettes afin d’améliorer les performances. Nous étudions de manière systématique l’encodage de position relative et l’auto-entraînement avec recuit au travers d’une évaluation expérimentale complète, et nos résultats empiriques confirment l’efficacité de notre méthode sur trois jeux de données de référence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp