Einbettungsmodelle (Embedding-Vektoren) sind Modelle, die diskrete oder hochdimensionale Informationen – wie Wörter, Sätze, Dokumente, Bilder, Audio und Code – in kontinuierliche Vektoren abbilden, sodass die semantische oder merkmalsbezogene Ähnlichkeit in bestimmten Aufgaben durch Vektorabstände approximiert werden kann. Sie mildern das Problem, dass reine symbolische Darstellungen Ähnlichkeitsbeziehungen nur schwer direkt ausdrücken können: Bei One-Hot-Encoding ist der Abstand zwischen den Vektoren verschiedener Klassen identisch, sodass das Modell anhand dieser Kodierung allein nicht darstellen kann, dass „Katze“ und „Hund“ typischerweise ähnlicher sind als „Katze“ und „Auto“.

Dieser technische Ansatz hat eine Entwicklung von statistischen zu Deep-Learning-Methoden durchlaufen. Frühe Ansätze stützten sich auf Wortfrequenzstatistiken wie TF-IDF sowie auf die Latent Semantic Analysis (LSA), die auf Wort-Dokument-Ko-Occurrences-Matrizen zur Dimensionsreduktion basiert. Im Jahr 2013 schlugen Mikolov et al. in dem Paper 《Efficient Estimation of Word Representations in Vector Space》 (arXiv:1301.3781) vor, Wortvektoren mit zwei flachen neuronalen Netzen – Continuous Bag of Words (CBOW) und Skip-gram – auf einem Korpus von 1,6 Milliarden Wörtern in weniger als einem Tag zu lernen. Sie demonstrierten semantische Beziehungen im Vektorraum (wie Analogieoperationen) und trieben die Verbreitung von Einbettungsmethoden als Standardbestandteil der natürlichen Sprachverarbeitung voran.

Mit dem Aufkommen von Transformer-Architekturen und großem vortrainiertem Lernen haben sich Einbettungen von Wörtern auf Sätze, Dokumente, Bilder und multimodale Daten erweitert: Encoder komprimieren den gesamten Text in einen einzigen Vektor, und kontrastives Lernen bringt ähnliche Stichproben näher zusammen und entfernt unähnliche voneinander. Die Vektordimensionen liegen typischerweise im Bereich von einigen Hundert bis zu einigen Tausend. Höhere Dimensionen können die Repräsentationskapazität erhöhen, garantieren aber nicht unbedingt bessere Ergebnisse bei nachgelagerten Aufgaben, während sie gleichzeitig die Speicher- und Suchkosten erhöhen; für die Bewertung werden häufig Benchmarks wie MTEB verwendet, die mehrere Aufgaben abdecken. Heute unterstützen Einbettungsmodelle die semantische Suche, Empfehlungssysteme, Clustering und Deduplizierung, die multimodale Suche sowie die Retrieval-Augmented Generation (RAG) und sind unverzichtbare Grundkomponenten für Anwendungen großer Sprachmodelle.