Maverick: Effiziente und genaue Koreferenzauflösung, die gegen aktuelle Trends verstößt

Große autoregressive Generativmodelle sind als Eckpfeiler zur Erreichung der besten Leistung in verschiedenen Natürlichsprachverarbeitungs-Aufgaben hervorgetreten. Dennoch hat der Drang, überlegene Ergebnisse zu erzielen, in manchen Fällen zu einer vorschnellen Ablösung sorgfältig entwickelter aufgabenspezifischer Ansätze geführt, ohne umfassende Experimente durchzuführen. Die Aufgabe der Koreferenzauflösung (Coreference Resolution) ist da keine Ausnahme; alle jüngsten Spitzenlösungen verwenden große generative autoregressive Modelle, die encoderbasierte diskriminative Systeme übertreffen. In dieser Arbeit fordern wir diese jüngste Entwicklung heraus, indem wir Maverick vorstellen, eine sorgfältig konzipierte – jedoch einfache – Pipeline, die es ermöglicht, ein Spitzen-Koreferenzauflösungssystem innerhalb der Grenzen eines akademischen Budgets zu betreiben und Modelle mit bis zu 13 Milliarden Parametern mit nur 500 Millionen Parametern zu übertreffen. Maverick erreicht Spitzenleistungen im CoNLL-2012-Benchmark, trainiert mit bis zu 0,006-facher Speicherressourcen und erzielt eine Inferenzgeschwindigkeit, die 170-mal schneller ist als bei früheren Spitzensystemen. Wir überprüfen die Robustheit des Maverick-Frameworks ausführlich durch eine Reihe vielfältiger Experimente und melden Verbesserungen gegenüber früheren Systemen in Szenarien mit wenigen Daten, langen Dokumenten und außerhalb des Trainingsbereichs. Unser Code und unsere Modelle geben wir für Forschungszwecke frei unter https://github.com/SapienzaNLP/maverick-coref.