Neural Symbolic Reader: Skalierbare Integration verteilter und symbolischer Repräsentationen für das Reading Comprehension

Die Integration verteilter Darstellungen mit symbolischen Operationen ist entscheidend für das Verständnis von Texten, das komplexe Schlussfolgerungen erfordert, wie beispielsweise Zählen, Sortieren oder arithmetische Berechnungen. Die meisten bestehenden Ansätze sind jedoch schwer skalierbar auf weitere Domänen oder komplexere Schlussfolgerungen. In dieser Arbeit präsentieren wir den Neural Symbolic Reader (NeRd), der aus einem Leser, z. B. BERT, zur Kodierung von Textpassage und Frage sowie einem Programmierer, z. B. LSTM, zur Generierung eines ausführbaren Programms besteht, das zur Antwortgenerierung verwendet wird. Im Vergleich zu früheren Arbeiten ist NeRd in zweifacher Hinsicht skalierbarer: (1) domänenunabhängig, d. h., dass dasselbe neuronale Architektur-Design für verschiedene Domänen funktioniert; (2) kompositionell, d. h., dass komplexe Programme durch rekursives Anwenden vordefinierter Operatoren generiert werden können, die so zu ausführbaren und interpretierbaren Darstellungen für komplexere Schlussfolgerungen werden. Um die Herausforderung der Trainingsdurchführung von NeRd unter schwacher Aufsicht zu bewältigen, wenden wir Techniken zur Datenverstärkung sowie eine harte Erwartung-Maximierung (hard EM) mit Schwellenwert-Regelung an. Auf DROP, einem anspruchsvollen Datensatz für Textverständnis, der diskrete Schlussfolgerungen erfordert, erreicht NeRd eine absolute Verbesserung von 1,37 % bzw. 1,18 % gegenüber dem Stand der Technik in den Metriken EM und F1. Mit derselben Architektur übertrifft NeRd die Baselines erheblich auf MathQA, einem mathematischen Problembenchmark, der mehrstufige Schlussfolgerungen erfordert, mit einer absoluten Steigerung der Genauigkeit um 25,5 %, wenn es auf allen annotierten Programmen trainiert wird. Vor allem zeigt sich, dass NeRd auch dann noch die Baselines schlägt, wenn nur 20 % der Programmannotierungen zur Verfügung stehen.