HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Constituency-Parsing mit Span-Attention

Yuanhe Tian Yan Song Fei Xia Tong Zhang

Zusammenfassung

Die Constituency-Parsing-Aufgabe ist eine grundlegende und bedeutende Aufgabe für das Verständnis natürlicher Sprache, bei der eine gute Repräsentation kontextueller Informationen hilfreich sein kann. N-Gramme, ein herkömmlicher Typ von Merkmalen für kontextuelle Informationen, haben sich in vielen Aufgaben als nützlich erwiesen und könnten daher auch für den Constituency-Parsing von Vorteil sein, sofern sie angemessen modelliert werden. In diesem Paper stellen wir Span-Attention für neuronale chart-basierte Constituency-Parsing-Modelle vor, um N-Gramm-Informationen effektiv zu nutzen. Da aktuelle chart-basierte Parser mit Transformer-basiertem Encoder Spannen durch Subtraktion der versteckten Zustände an den Spann-Grenzen repräsentieren, was insbesondere bei langen Spannen zu Informationsverlust führen kann, integrieren wir N-Gramme in die Spann-Repräsentationen, indem wir sie nach ihrem Beitrag zum Parsen gewichten. Darüber hinaus führen wir kategorische Span-Attention ein, um das Modell weiter zu verbessern, indem N-Gramme innerhalb unterschiedlicher Längenkategorien gewichtet werden, was insbesondere der Verarbeitung langer Sätze zugutekommt. Experimentelle Ergebnisse auf drei weit verbreiteten Benchmark-Datensätzen belegen die Wirksamkeit unseres Ansatzes beim Parsen von Arabisch, Chinesisch und Englisch, wobei unsere Methode auf allen drei Sprachen die bisher beste Leistung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp