Zum Fortschritt der State-of-the-Art-Technologie in der Sprachmodellierung

Verallgemeinerung ist mit Sicherheit das wichtigste Ziel der Forschung im Bereich statistischer Sprachmodellierung. Öffentlich zugängliche Benchmarks und Publikationen, die gemeinsam mit Open-Source-Code veröffentlicht werden, haben entscheidend zur Weiterentwicklung des Feldes beigetragen. Dennoch ist es oft äußerst schwierig, und manchmal sogar unmöglich, die in wissenschaftlichen Arbeiten berichteten Ergebnisse vollständig nachzuvollziehen. In diesem Paper schlagen wir einen einfachen Rahmen vor, der dazu beitragen soll, den Stand der Technik in Bezug auf die Verallgemeinerungsfähigkeit von Sprachmodellen voranzutreiben. Wir schlagen vor, zukünftig nicht nur den Code, sondern auch die Wahrscheinlichkeiten auf Dev- und Testsets zu veröffentlichen, sodass neue Modelle problemlos in eine Ensemble-Modellierung integriert werden können. Dieser Ansatz bietet entscheidende Vorteile: Es ist viel einfacher zu bestimmen, ob ein neu vorgestelltes Modell tatsächlich komplementär zum aktuellen Baseline-Modell ist. Dadurch kann die wissenschaftliche Gemeinschaft schneller voranschreiten, ohne ständig neue Namen für alte Tricks zu erfinden. Schließlich fördert dieser Ansatz auch Vielfalt an Ideen: Es ist nicht mehr notwendig, ein eigenständiges Modell zu entwickeln, das selbst den neuen Stand der Technik darstellt, um Aufmerksamkeit zu erregen; ausreichend ist es, ein neues Modell zu erstellen, das Muster lernt, die andere Modelle nicht erfassen. Somit kann selbst ein suboptimaler Ansatz wertvoll sein. Erstaunlicherweise hat unser Ansatz bereits neue SOTA-Ergebnisse auf verschiedenen Sprachmodellierungs-Benchmarks erzielt – bis zu 10 Prozentpunkten Verbesserung.