HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage génératif multi-étiquettes à zéro-shot

Akshita Gupta Sanath Narayan Salman Khan Fahad Shahbaz Khan Ling Shao Joost van de Weijer

Résumé

L'apprentissage à zéro tirage multi-étiquettes vise à classer des images dans plusieurs catégories inconnues pour lesquelles aucune donnée n'est disponible lors de l'entraînement. Dans la variante généralisée, les échantillons de test peuvent également contenir des catégories connues. Les approches existantes reposent sur l'apprentissage d'une attention partagée ou spécifique aux étiquettes à partir des classes connues. Cependant, le calcul de cartes d'attention fiables pour les classes inconnues lors de l'inférence dans un cadre multi-étiquettes reste un défi. En revanche, les approches basées sur les réseaux génératifs adverses (GAN) mono-étiquette d'avant-garde apprennent à synthétiser directement les caractéristiques visuelles spécifiques à la classe à partir des plongements d'attributs correspondants. La synthèse de caractéristiques multi-étiquettes à partir de GANs n'a cependant pas encore été explorée dans le contexte du zéro tirage. Dans ce travail, nous introduisons différentes approches de fusion au niveau des attributs, au niveau des caractéristiques et au niveau croisé (entre niveaux d'attributs et de caractéristiques) pour synthétiser des caractéristiques multi-étiquettes à partir de leurs plongements de classe multi-étiquettes correspondants. À notre connaissance, notre travail est le premier à aborder le problème de la synthèse de caractéristiques multi-étiquettes dans le cadre (généralisé) du zéro tirage. Des expériences exhaustives sont réalisées sur trois benchmarks de classification d'images à zéro tirage : NUS-WIDE, Open Images et MS COCO. Notre approche générative basée sur la fusion au niveau croisé surpasse l'état de l'art sur les trois ensembles de données. De plus, nous montrons les capacités de généralisation de notre approche de fusion dans la tâche de détection à zéro tirage sur MS COCO, obtenant une performance favorable par rapport aux méthodes existantes. Le code source est disponible à l'adresse suivante : https://github.com/akshitac8/Generative_MLZSL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp