Verbesserung der Constituency-Parsing mit Span-Attention

Die Constituency-Parsing-Aufgabe ist eine grundlegende und bedeutende Aufgabe für das Verständnis natürlicher Sprache, bei der eine gute Repräsentation kontextueller Informationen hilfreich sein kann. N-Gramme, ein herkömmlicher Typ von Merkmalen für kontextuelle Informationen, haben sich in vielen Aufgaben als nützlich erwiesen und könnten daher auch für den Constituency-Parsing von Vorteil sein, sofern sie angemessen modelliert werden. In diesem Paper stellen wir Span-Attention für neuronale chart-basierte Constituency-Parsing-Modelle vor, um N-Gramm-Informationen effektiv zu nutzen. Da aktuelle chart-basierte Parser mit Transformer-basiertem Encoder Spannen durch Subtraktion der versteckten Zustände an den Spann-Grenzen repräsentieren, was insbesondere bei langen Spannen zu Informationsverlust führen kann, integrieren wir N-Gramme in die Spann-Repräsentationen, indem wir sie nach ihrem Beitrag zum Parsen gewichten. Darüber hinaus führen wir kategorische Span-Attention ein, um das Modell weiter zu verbessern, indem N-Gramme innerhalb unterschiedlicher Längenkategorien gewichtet werden, was insbesondere der Verarbeitung langer Sätze zugutekommt. Experimentelle Ergebnisse auf drei weit verbreiteten Benchmark-Datensätzen belegen die Wirksamkeit unseres Ansatzes beim Parsen von Arabisch, Chinesisch und Englisch, wobei unsere Methode auf allen drei Sprachen die bisher beste Leistung erzielt.