BERT mit einem Rechner ausstatten: Operationen und Argumente durch Leseverständnis finden

Leseverständnismodelle wurden erfolgreich auf die Extraktion von Textantworten angewendet, jedoch ist es unklar, wie diese Modelle am besten auf abstraktive numerische Antworten verallgemeinert werden können. Wir ermöglichen einem BERT-basierten Leseverständnismodell, leichte numerische Schlussfolgerungen durchzuführen. Das Modell wird um eine vordefinierte Reihe ausführbarer "Programme" erweitert, die einfache arithmetische Operationen sowie Extraktion umfassen. Anstatt Zahlen direkt zu manipulieren, kann das Modell ein Programm auswählen und es ausführen. Auf dem kürzlich veröffentlichten Datensatz Discrete Reasoning Over Passages (DROP), der entwickelt wurde, um Leseverständnismodelle zu herausfordern, zeigen wir eine absolute Verbesserung von 33 % durch Hinzufügen flacher Programme. Das Modell kann lernen, neue Operationen bei Mathematikaufgaben (Roy und Roth, 2015) mit sehr wenigen Trainingsbeispielen vorherzusagen.