Maximale Bayes-Smatch-Ensemble-Distillation für AMR-Parsing

Die AMR-Parsing-Leistung hat in den letzten drei Jahren aufgrund einer Kombination verschiedener Faktoren – darunter Architekturverbesserungen und Transferlernen – eine bisher ungekannte Steigerung erfahren. Auch selbstlernende Techniken haben dazu beigetragen, die Leistung voranzutreiben. Für die meisten jüngsten hochperformanten Parser scheint der Effekt von selbstlernenden Ansätzen und der Verstärkung durch silberne Daten jedoch zu abnehmen. In diesem Paper schlagen wir vor, diesen abnehmenden Nutzen silberner Daten durch die Kombination von Smatch-basierten Ensembling-Techniken mit Ensemble-Distillation zu überwinden. In einer umfassenden experimentellen Studie erreichen wir mit einem einzelnen Modell eine neue State-of-the-Art-Leistung für den englischen AMR-Parsing mit 85,9 (AMR2.0) und 84,3 (AMR3.0) und erzielen erneut erhebliche Verbesserungen durch die Verstärkung mit silbernen Daten. Zudem erreichen wir eine neue State-of-the-Art-Leistung für den mehrsprachigen AMR-Parsing in Chinesisch, Deutsch, Italienisch und Spanisch. Schließlich untersuchen wir den Einfluss der vorgeschlagenen Methode auf die Domänenanpassung und zeigen, dass sie Leistungssteigerungen erzielt, die jenen menschlicher Annotationen für QALD-9 vergleichbar sind, und eine neue State-of-the-Art für BioAMR erreicht.