NuNER: Entitätserkennung durch Vortraining des Encoders mit LLM-annotierten Daten

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in der Datenaufbereitung gezeigt und somit den Weg für neue Ansätze zur Lösung klassischer NLP-Probleme geebnet. In dieser Arbeit zeigen wir, wie LLMs verwendet werden können, um NuNER zu erstellen, ein kompaktes Sprachrepräsentationsmodell, das sich auf die Aufgabe der Named Entity Recognition (NER) spezialisiert hat. NuNER kann feinjustiert werden, um Downstream-NER-Probleme auf daten-effiziente Weise zu lösen, wobei es vergleichbare Grundmodelle im Few-Shot-Regime übertrifft und mit viel größeren LLMs konkurriert. Wir stellen fest, dass die Größe und die Vielfalt an Entitätstypen des Vortrainingsdatensatzes entscheidend sind, um eine gute Leistung zu erzielen. Wir betrachten NuNER als Teil der breiteren Familie von taskspezifischen Grundmodellen, die durch LLMs kürzlich ermöglicht wurden.