HyperAIHyperAI

Command Palette

Search for a command to run...

Neural Symbolic Reader: Skalierbare Integration verteilter und symbolischer Repräsentationen für das Reading Comprehension

Chen Liang Quoc V. Le Denny Zhou Adams Wei Yu Xinyun Chen Dawn Song

Zusammenfassung

Die Integration verteilter Darstellungen mit symbolischen Operationen ist entscheidend für das Verständnis von Texten, das komplexe Schlussfolgerungen erfordert, wie beispielsweise Zählen, Sortieren oder arithmetische Berechnungen. Die meisten bestehenden Ansätze sind jedoch schwer skalierbar auf weitere Domänen oder komplexere Schlussfolgerungen. In dieser Arbeit präsentieren wir den Neural Symbolic Reader (NeRd), der aus einem Leser, z. B. BERT, zur Kodierung von Textpassage und Frage sowie einem Programmierer, z. B. LSTM, zur Generierung eines ausführbaren Programms besteht, das zur Antwortgenerierung verwendet wird. Im Vergleich zu früheren Arbeiten ist NeRd in zweifacher Hinsicht skalierbarer: (1) domänenunabhängig, d. h., dass dasselbe neuronale Architektur-Design für verschiedene Domänen funktioniert; (2) kompositionell, d. h., dass komplexe Programme durch rekursives Anwenden vordefinierter Operatoren generiert werden können, die so zu ausführbaren und interpretierbaren Darstellungen für komplexere Schlussfolgerungen werden. Um die Herausforderung der Trainingsdurchführung von NeRd unter schwacher Aufsicht zu bewältigen, wenden wir Techniken zur Datenverstärkung sowie eine harte Erwartung-Maximierung (hard EM) mit Schwellenwert-Regelung an. Auf DROP, einem anspruchsvollen Datensatz für Textverständnis, der diskrete Schlussfolgerungen erfordert, erreicht NeRd eine absolute Verbesserung von 1,37 % bzw. 1,18 % gegenüber dem Stand der Technik in den Metriken EM und F1. Mit derselben Architektur übertrifft NeRd die Baselines erheblich auf MathQA, einem mathematischen Problembenchmark, der mehrstufige Schlussfolgerungen erfordert, mit einer absoluten Steigerung der Genauigkeit um 25,5 %, wenn es auf allen annotierten Programmen trainiert wird. Vor allem zeigt sich, dass NeRd auch dann noch die Baselines schlägt, wenn nur 20 % der Programmannotierungen zur Verfügung stehen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp