HyperAIHyperAI

Command Palette

Search for a command to run...

NuNER: Entitätserkennung durch Vortraining des Encoders mit LLM-annotierten Daten

Sergei Bogdanov; Alexandre Constantin; Timothée Bernard; Benoit Crabbé; Etienne Bernard

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in der Datenaufbereitung gezeigt und somit den Weg für neue Ansätze zur Lösung klassischer NLP-Probleme geebnet. In dieser Arbeit zeigen wir, wie LLMs verwendet werden können, um NuNER zu erstellen, ein kompaktes Sprachrepräsentationsmodell, das sich auf die Aufgabe der Named Entity Recognition (NER) spezialisiert hat. NuNER kann feinjustiert werden, um Downstream-NER-Probleme auf daten-effiziente Weise zu lösen, wobei es vergleichbare Grundmodelle im Few-Shot-Regime übertrifft und mit viel größeren LLMs konkurriert. Wir stellen fest, dass die Größe und die Vielfalt an Entitätstypen des Vortrainingsdatensatzes entscheidend sind, um eine gute Leistung zu erzielen. Wir betrachten NuNER als Teil der breiteren Familie von taskspezifischen Grundmodellen, die durch LLMs kürzlich ermöglicht wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp