HyperAIHyperAI

Command Palette

Search for a command to run...

LATTE: Lattice ATTentive Encoding für zeichenbasierte Wortsegmentierung

Manabu Okumura Kotaro Funakoshi Hidetaka Kamigaito Thodsaporn Chay-intr

Zusammenfassung

Eine Zeichenfolge umfasst mindestens eine oder mehrere Segmentierungsalternativen. Dies kann als Segmentierungsambiguität betrachtet werden und kann die Leistung der Wortsegmentierung beeinträchtigen. Die angemessene Behandlung solcher Ambiguität verringert unsichere Entscheidungen hinsichtlich Wortgrenzen. Frühere Arbeiten haben aufgrund der Fähigkeit des Lattices, Segmentierungsalternativen zu erfassen, sowie durch die Integration von graphbasierten und vortrainierten Modellen beachtliche Fortschritte bei der Segmentierung erzielt und das Ambiguitätsproblem gemildert. Dennoch werden in einem Lattice, das mit solchen Modellen kodiert ist, Informationen unterschiedlicher Granularität – einschließlich Zeichen- und Wortebene – möglicherweise nicht ausreichend berücksichtigt. Um die Darstellung mehrschaliger Informationen im Lattice zu stärken, schlagen wir die Lattice ATTentive Encoding (LATTE)-Methode für die zeichenbasierte Wortsegmentierung vor. Unser Modell nutzt die Lattice-Struktur, um Segmentierungsalternativen zu handhaben, und kombiniert Graph-Neuronale Netze mit einem Aufmerksamkeitsmechanismus, um gezielt mehrschalige Repräsentationen aus dem Lattice zu extrahieren, um die Zeichenrepräsentationen zu ergänzen. Unsere experimentellen Ergebnisse zeigen eine Verbesserung der Segmentierungsleistung auf den Datensätzen BCCWJ, CTB6 und BEST2010 in drei Sprachen, insbesondere für Japanisch, Chinesisch und Thai.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp