NFLAT: Nicht-flaches-Gitter-Transformer für die chinesische Namensentitätserkennung

Kürzlich hat der Flat-Lattice-Transformer (FLAT) bei der chinesischen Namensentitätserkennung (NER) große Erfolge erzielt. FLAT führt eine lexikalische Erweiterung durch die Konstruktion flacher Gitter durch, was die Schwierigkeiten mindert, die durch unscharfe Wortgrenzen und den Mangel an Wortsemantik entstehen. In FLAT werden die Positionen von Anfangs- und Endzeichen verwendet, um ein übereinstimmendes Wort zu verbinden. Allerdings neigt diese Methode dazu, bei der Verarbeitung langer Texte mehr Wörter zu matchen, was zu langen Eingabesequenzen führt. Daher steigen die Speicher- und Rechenkosten des Selbst-Aufmerksamkeitsmoduls erheblich. Um dieses Problem anzugehen, schlagen wir eine neue lexikalische Erweiterungsmethode vor: den InterFormer, der durch die Konstruktion nicht-flacher Gitter effektiv die Rechen- und Speicherkosten reduziert. Des Weiteren implementieren wir mit InterFormer als Grundlage den NFLAT für die chinesische NER. NFLAT trennt Lexikonfusion und Kontextmerkmalscodierung. Im Vergleich zu FLAT reduziert es unnötige Aufmerksamkeitsberechnungen in "Wort-Zeichen" und "Wort-Wort". Dies verringert den Speicherverbrauch um etwa 50 % und ermöglicht das Verwenden umfangreicheren Lexikons oder größerer Batchgrößen für das Netzwerktraining. Die experimentellen Ergebnisse, die auf mehreren bekannten Benchmarks erzielt wurden, zeigen die Überlegenheit der vorgeschlagenen Methode gegenüber den aktuellen hybriden (Zeichen-Wort)-Modellen.