HyperAIHyperAI

Command Palette

Search for a command to run...

Exploiter les modèles vision-langage pour améliorer la généralisation domainale dans la classification d'images

Sravanti Addepalli Ashish Ramayee Asokan Lakshay Sharma R. Venkatesh Babu

Résumé

Les modèles vision-langage (VLM) tels que CLIP sont entraînés sur de grandes quantités de paires image-texte, ce qui leur confère une généralisation remarquable sur plusieurs distributions de données. Toutefois, dans de nombreux cas, les coûts élevés liés à l'entraînement et à la collecte/curation des données ne justifient pas l'application finale. Cela motive un paradigme fournisseur-client, dans lequel un fournisseur entraîne un VLM à grande échelle et accorde aux clients un accès uniquement aux entrées-sorties, sur une base payante par requête, dans un cadre « boîte noire ». Le client vise à minimiser le coût d'inférence en distillant le VLM enseignant vers un modèle étudiant, en utilisant uniquement les données spécifiques à la tâche, limitées, puis en déployant ce modèle étudiant dans l'application finale. Bien que la distillation naïve améliore considérablement l’exactitude en domaine (ID) du modèle étudiant, elle échoue à transférer la supérieure généralisation hors domaine (OOD) du modèle enseignant VLM, en raison du faible nombre d’images étiquetées disponibles. Pour atténuer ce problème, nous proposons VL2V-ADiP (Vision-Language to Vision – Align, Distill, Predict), une méthode qui aligne d’abord les modalités visuelle et linguistique du modèle enseignant avec la modale visuelle d’un modèle étudiant pré-entraîné, puis distille les représentations du VLM alignées vers le modèle étudiant. Cette approche préserve au maximum les caractéristiques pré-entraînées du modèle étudiant, tout en intégrant les représentations riches du encodeur d’images du VLM et la généralisation supérieure des embeddings linguistiques. La méthode proposée atteint des résultats de pointe sur les benchmarks standards de généralisation de domaine, tant dans un cadre « boîte noire » où seul l’accès entrée-sortie est disponible, qu’avec un cadre « boîte blanche » où les poids du VLM sont accessibles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp