Modélisation linguistique

Le modèle de langage est la tâche de prédire le prochain mot ou caractère dans un document, et les modèles de langage formés peuvent être appliqués à diverses tâches de traitement du langage naturel telles que la génération de texte, la classification de texte et la réponse aux questions. Depuis les années 2010, les modèles de langage neuronaux ont remplacé les modèles N-grammes, et après les années 2020, les grands modèles de langage (LLMs) sont devenus l'unique voie pour atteindre des performances de pointe. Les capacités de ces modèles sont évaluées à l'aide de métriques comme l'entropie croisée et la perplexité, avec des ensembles de données courants incluant WikiText-103, One Billion Word, Text8, C4 et The Pile.