Les modèles d'embedding (vecteurs d'incorporation) sont des modèles qui mapent des informations discrètes ou de haute dimensionnalité — mots, phrases, documents, images, audio, code, etc. — en vecteurs continus, permettant d'approximer la similarité sémantique ou caractéristique par la distance entre vecteurs dans certaines tâches. Ils pallient le problème des représentations purement symboliques qui peinent à exprimer directement les relations de similarité : dans l'encodage one-hot, la distance entre les vecteurs de différentes catégories est identique, empêchant le modèle de représenter uniquement via cet encodage que « chat » et « chien » sont généralement plus proches que « chat » et « voiture ».

Cette approche technique a évolué des méthodes statistiques vers l'apprentissage profond. Au début, elle reposait sur des statistiques de fréquence de mots telles que TF-IDF, ainsi que sur l'analyse sémantique latente (LSA) qui réduit la dimensionnalité à partir de matrices de co-occurrence mot-document. En 2013, Mikolov et al. ont proposé dans leur article 《Efficient Estimation of Word Representations in Vector Space》 (arXiv:1301.3781) d'utiliser deux réseaux superficiels, le sac de mots continu (CBOW) et le modèle Skip-gram, pour apprendre des vecteurs de mots en moins d'une journée sur un corpus de 1,6 milliard de mots. Ils ont également démontré des relations sémantiques dans l'espace vectoriel (telles que les analogies), propulsant les méthodes d'embedding au rang de norme standard en traitement automatique des langues naturelles (TALN).

Avec l'essor des Transformers et de la pré-formation à grande échelle, l'embedding s'est étendu des mots aux phrases, documents, images et multimodalités : les encodeurs compressent des segments de texte entiers en un seul vecteur, tandis que l'apprentissage contrastif rapproche les échantillons similaires et éloigne les dissimilaires. La dimension des vecteurs varie généralement de quelques centaines à quelques milliers ; une dimension plus élevée peut augmenter la capacité de représentation, mais ne garantit pas de meilleurs résultats en aval, tout en augmentant généralement les coûts de stockage et de récupération. Pour l'évaluation, on utilise souvent des benchmarks couvrant plusieurs tâches, tels que MTEB. Aujourd'hui, les modèles d'embedding soutiennent la recherche sémantique, la recommandation, le regroupement et la déduplication, la récupération multimodale et la génération augmentée par récupération (RAG), constituant un composant fondamental indispensable aux applications des grands modèles.