Language Modelling

Sprachmodellierung ist die Aufgabe, das nächste Wort oder den nächsten Buchstaben in einem Dokument vorherzusagen. Trainierte Sprachmodelle können auf verschiedene Aufgaben der natürlichen Sprachverarbeitung angewendet werden, wie zum Beispiel Textgenerierung, Textklassifizierung und Fragebeantwortung. Seit den 2010er Jahren haben neurale Sprachmodelle die N-Gramm-Modelle abgelöst, und nach den 2020er Jahren sind große Sprachmodelle (LLMs) der einzige Weg, um den aktuellen Stand der Technik zu erreichen. Die Fähigkeiten dieser Modelle werden mit Metriken wie Kreuzentropie und Perplexität bewertet, wobei gängige Datensätze WikiText-103, One Billion Word, Text8, C4 und The Pile umfassen.