Verstärkter mnemonischer Leser für maschinelle Textverständnis

In dieser Arbeit stellen wir den Reinforced Mnemonic Reader für Maschinelles Leseverstehen vor, der die bisherigen aufmerksamkeitsbasierten Reader in zwei Aspekten verbessert. Erstens wird ein Re-Attention-Mechanismus vorgeschlagen, um die aktuelle Aufmerksamkeit durch direkten Zugriff auf vergangene Aufmerksamkeiten zu verfeinern, die zeitlich in einer mehrfachen Ausrichtungsarchitektur gespeichert sind. Dies dient dazu, Probleme der Aufmerksamkeitsredundanz und -mangel zu vermeiden. Zweitens wird eine neue Optimierungsmethode eingeführt, die als dynamisch-kritische Verstärkungslernen bezeichnet wird, um die Standard-Supervised-Methode zu erweitern. Diese Methode fördert stets die Vorhersage einer akzeptableren Antwort, um das Konvergenzhemmungsproblem zu lösen, das in traditionellen Verstärkungslernalgorithmen auftritt. Umfangreiche Experimente mit dem Stanford Question Answering Dataset (SQuAD) zeigen, dass unser Modell den aktuellen Stand der Technik erreicht. Gleichzeitig übertrifft unser Modell die früheren Systeme um mehr als 6 % sowohl in Bezug auf das Exact Match-Kriterium als auch das F1-Kriterium bei zwei feindseligen SQuAD-Datensätzen.