HyperAIHyperAI

Command Palette

Search for a command to run...

CAILA : Adaptateurs intra-couche conscients des concepts pour l'apprentissage zéro-shot compositionnel

Zhaoheng Zheng Haidong Zhu Ram Nevatia

Résumé

Dans cet article, nous étudions le problème de l’apprentissage zéro-shot compositionnel (CZSL), qui consiste à reconnaître de nouvelles combinaisons attribut-objet à partir de concepts préexistants. Les recherches récentes se concentrent sur l’utilisation de modèles pré-entraînés vision-langage à grande échelle, tels que CLIP, qui possèdent une forte capacité de généralisation. Toutefois, ces approches traitent le modèle pré-entraîné comme une boîte noire et se concentrent principalement sur des opérations pré- et post-CLIP, sans exploiter de manière intrinsèque les concepts sémantiques présents entre les couches internes de CLIP. Nous proposons de creuser profondément l’architecture de CLIP en intégrant des adaptateurs — une technique efficace en termes de paramètres, déjà éprouvée avec succès dans les grands modèles linguistiques — dans chaque couche du encodeur CLIP. Nous dotons par ailleurs ces adaptateurs d’une conscience des concepts, afin d’extraire des caractéristiques spécifiques aux notions d’« objet », d’« attribut » et de « composition ». Nous évaluons notre méthode sur quatre jeux de données populaires pour le CZSL : MIT-States, C-GQA, UT-Zappos et VAW-CZSL, où elle atteint des performances de pointe par rapport aux méthodes existantes sur l’ensemble d’entre eux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp