HyperAIHyperAI

Command Palette

Search for a command to run...

BERT mit einem Rechner ausstatten: Operationen und Argumente durch Leseverständnis finden

Daniel Andor Luheng He Kenton Lee Emily Pitler

Zusammenfassung

Leseverständnismodelle wurden erfolgreich auf die Extraktion von Textantworten angewendet, jedoch ist es unklar, wie diese Modelle am besten auf abstraktive numerische Antworten verallgemeinert werden können. Wir ermöglichen einem BERT-basierten Leseverständnismodell, leichte numerische Schlussfolgerungen durchzuführen. Das Modell wird um eine vordefinierte Reihe ausführbarer "Programme" erweitert, die einfache arithmetische Operationen sowie Extraktion umfassen. Anstatt Zahlen direkt zu manipulieren, kann das Modell ein Programm auswählen und es ausführen. Auf dem kürzlich veröffentlichten Datensatz Discrete Reasoning Over Passages (DROP), der entwickelt wurde, um Leseverständnismodelle zu herausfordern, zeigen wir eine absolute Verbesserung von 33 % durch Hinzufügen flacher Programme. Das Modell kann lernen, neue Operationen bei Mathematikaufgaben (Roy und Roth, 2015) mit sehr wenigen Trainingsbeispielen vorherzusagen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
BERT mit einem Rechner ausstatten: Operationen und Argumente durch Leseverständnis finden | Paper | HyperAI