Word Embedding ist ein allgemeiner Begriff für Sprachmodelle und Repräsentationslerntechniken in der natürlichen Sprachverarbeitung. Konzeptionell bedeutet dies das Einbetten von Wörtern aus einem hochdimensionalen Raum in einen niedrigdimensionalen kontinuierlichen Vektorraum, wobei jedes Wort oder jede Phrase einem Vektor im reellen Zahlenfeld zugeordnet wird.

Zu den aktuellen Methoden der Worteinbettung zählen künstliche neuronale Netze, Dimensionsreduktion von Wortsyntaktikmatrizen, Wahrscheinlichkeitsmodelle und die explizite Darstellung des Kontexts, in dem sich Wörter befinden. In der zugrunde liegenden Eingabe können Worteinbettungsmethoden, die Phrasen darstellen, die Effektivität von Grammatikanalysatoren und Textstimmungsanalysen verbessern.

Algorithmus zur Worteinbettung

• Einbettungsebenen: Methoden für gemeinsames Lernen mit neuronalen Netzwerkmodellen für spezifische Aufgaben der natürlichen Sprachverarbeitung;
• Word2Vec: Eine statistische Methode zum effizienten Lernen unabhängiger Wort-Embeddings aus einem Textkorpus.
• GloVe: Eine Erweiterung der Word2Vec-Methode, die Wortvektoren effizient lernen kann.