HyperAIHyperAI

Command Palette

Search for a command to run...

NFLAT: Nicht-flaches-Gitter-Transformer für die chinesische Namensentitätserkennung

Shuang Wu Xiaoning Song* Member, IEEE Zhen-Hua Feng* Senior Member, IEEE Xiao-Jun Wu Member, IEEE

Zusammenfassung

Kürzlich hat der Flat-Lattice-Transformer (FLAT) bei der chinesischen Namensentitätserkennung (NER) große Erfolge erzielt. FLAT führt eine lexikalische Erweiterung durch die Konstruktion flacher Gitter durch, was die Schwierigkeiten mindert, die durch unscharfe Wortgrenzen und den Mangel an Wortsemantik entstehen. In FLAT werden die Positionen von Anfangs- und Endzeichen verwendet, um ein übereinstimmendes Wort zu verbinden. Allerdings neigt diese Methode dazu, bei der Verarbeitung langer Texte mehr Wörter zu matchen, was zu langen Eingabesequenzen führt. Daher steigen die Speicher- und Rechenkosten des Selbst-Aufmerksamkeitsmoduls erheblich. Um dieses Problem anzugehen, schlagen wir eine neue lexikalische Erweiterungsmethode vor: den InterFormer, der durch die Konstruktion nicht-flacher Gitter effektiv die Rechen- und Speicherkosten reduziert. Des Weiteren implementieren wir mit InterFormer als Grundlage den NFLAT für die chinesische NER. NFLAT trennt Lexikonfusion und Kontextmerkmalscodierung. Im Vergleich zu FLAT reduziert es unnötige Aufmerksamkeitsberechnungen in "Wort-Zeichen" und "Wort-Wort". Dies verringert den Speicherverbrauch um etwa 50 % und ermöglicht das Verwenden umfangreicheren Lexikons oder größerer Batchgrößen für das Netzwerktraining. Die experimentellen Ergebnisse, die auf mehreren bekannten Benchmarks erzielt wurden, zeigen die Überlegenheit der vorgeschlagenen Methode gegenüber den aktuellen hybriden (Zeichen-Wort)-Modellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
NFLAT: Nicht-flaches-Gitter-Transformer für die chinesische Namensentitätserkennung | Paper | HyperAI