HyperAIHyperAI

Command Palette

Search for a command to run...

Pré-entraînement multi-grain en vision-langue : alignement des textes avec les concepts visuels

Yan Zeng Xinsong Zhang Hang Li

Résumé

La plupart des méthodes existantes en pré-entraînement vision-langage s'appuient sur des caractéristiques centrées sur les objets extraites par détection d'objets et établissent des alignements fins entre ces caractéristiques et les textes. Il est difficile pour ces méthodes d'apprendre les relations entre plusieurs objets. Afin de résoudre ce problème, nous proposons une nouvelle méthode appelée X-VLM pour effectuer un « pré-entraînement vision-langage multi-granulaire ». La clé pour apprendre des alignements multi-granulaires consiste à localiser les concepts visuels dans l'image en se basant sur les textes associés, tout en alignant ces textes avec les concepts visuels, où les alignements sont de multi-granularité. Les résultats expérimentaux montrent que X-VLM utilise efficacement les alignements multi-granulaires appris pour de nombreuses tâches vision-langage en aval et dépasse constamment les méthodes de pointe actuelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp