NuNER : Pré-entraînement du codeur de reconnaissance d'entités à l'aide de données annotées par un modèle linguistique large (LLM)

Les grands modèles de langage (LLMs) ont démontré des capacités impressionnantes en annotation de données, ouvrant la voie à de nouvelles approches pour résoudre les problèmes classiques du traitement du langage naturel (NLP). Dans cet article, nous montrons comment utiliser les LLMs pour créer NuNER, un modèle de représentation linguistique compact spécialisé dans la tâche de reconnaissance d'entités nommées (NER). NuNER peut être affiné pour résoudre des problèmes NER en aval de manière efficace en termes de données, surpassant des modèles fondamentaux similaires en taille dans le régime à faible nombre d'exemples et rivalisant avec des LLMs beaucoup plus volumineux. Nous constatons que la taille et la diversité des types d'entités du jeu de données pré-entraîné sont essentielles pour obtenir de bonnes performances. Nous considérons NuNER comme faisant partie de la famille plus large des modèles fondamentaux spécifiques à une tâche, récemment rendue possible par les LLMs.