Un modèle visuel-langage (VLM) est un modèle d'intelligence artificielle capable de comprendre et de traiter simultanément des informations textuelles et vidéo. Il peut effectuer des tâches complexes telles que la description d'images, la réponse à des questions visuelles et la recherche d'images et de textes, et est largement utilisé dans l'analyse de contenu, les assistants intelligents, la robotique et d'autres domaines.

Une architecture VLM typique suit un flux de traitement de l'information clair à trois couches : l'encodeur visuel (tel que ViT) convertit l'image d'entrée en un vecteur de caractéristiques visuelles abstraites, la couche de projection (telle qu'une couche linéaire ou Q-Former) aligne ces caractéristiques visuelles sur l'espace sémantique du modèle de langage, et le modèle de langage étendu reçoit ces caractéristiques alignées et les instructions textuelles pour effectuer une compréhension, un raisonnement et une génération de contenu unifiés.