HyperAIHyperAI

Command Palette

Search for a command to run...

CONTaiNER: Few-Shot Named Entity Recognition via Contrastive Learning

Sarkar Snigdha Sarathi Das Arzoo Katiyar Rebecca J. Passonneau Rui Zhang

Zusammenfassung

Die Named Entity Recognition (NER) im Few-Shot-Szenario ist entscheidend für die Entitätstags in ressourcenarmen Domänen. Bestehende Ansätze lernen lediglich klassenspezifische semantische Merkmale und Zwischendarstellungen aus Quelldomänen. Dies beeinträchtigt die Verallgemeinerungsfähigkeit auf unbekannte Ziel-Domänen und führt zu suboptimalen Leistungen. Um dieses Problem anzugehen, präsentieren wir CONTaiNER, eine neuartige Kontrastlernmethode, die die inter-token-Verteilungs-Distanz für Few-Shot NER optimiert. Anstatt klassenspezifische Attribute zu optimieren, optimiert CONTaiNER ein verallgemeinertes Ziel, das auf der Unterscheidung zwischen Token-Kategorien basiert, wobei die Embeddings gemäß einer Gauß-Verteilung modelliert werden. Dadurch wird das Überanpassungsproblem, das aus den Trainingsdomänen resultiert, effektiv gemildert. Unsere Experimente an mehreren traditionellen Test-Domänen (OntoNotes, CoNLL'03, WNUT'17, GUM) sowie an einer neuen, großskaligen Few-Shot NER-Datenbank (Few-NERD) zeigen, dass CONTaiNER im Durchschnitt die vorherigen Methoden um 3 bis 13 absolute F1-Punkte übertrifft und dabei auch in anspruchsvollen Szenarien, in denen frühere Ansätze keine nennenswerte Leistung erzielen konnten, eine konsistente Performanz aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp