Systemkombination mittels Qualitätsabschätzung für grammatische Fehlerkorrektur

Qualitätsabschätzungsmodelle wurden entwickelt, um die Korrekturen durch grammatische Fehlerkorrektur (GEC) Modelle zu bewerten, wenn keine Referenz- oder Gold-Standard-Korrekturen verfügbar sind. Ein ideales Qualitätsabschätzungswerkzeug kann genutzt werden, um die Ausgaben mehrerer GEC-Systeme zu kombinieren, indem die bestmögliche Teilmenge von Korrekturen aus der Vereinigung aller von den Basis-GEC-Systemen vorgeschlagenen Änderungen ausgewählt wird. Wir stellten jedoch fest, dass bestehende GEC-Qualitätsabschätzungsmodule nicht ausreichend gut zwischen guten und schlechten Korrekturen unterscheiden können, was zu einem niedrigen F0.5-Score bei der Systemkombination führt. In diesem Artikel stellen wir GRECO vor, ein neuartiges, state-of-the-art-Qualitätsabschätzungsmodell, das die Qualität einer korrigierten Aussage präziser abschätzt, was sich in einer höheren Korrelation zum F0.5-Score der korrigierten Aussage widerspiegelt. Dadurch erreicht das kombinierte GEC-System einen höheren F0.5-Score. Zudem schlagen wir drei Methoden zur Nutzung von GEC-Qualitätsabschätzungsmodellen für die Systemkombination mit unterschiedlichem Grad der Allgemeingültigkeit vor: eine modellunabhängige Methode, eine modellunabhängige Methode mit Stimmbias und eine modellabhängige Methode. Das kombinierte GEC-System übertrifft den Stand der Technik auf dem CoNLL-2014-Testset und dem BEA-2019-Testset und erreicht die bisher höchsten veröffentlichten F0.5-Scores.