MEMEN: Mehrschichtige Einbettung mit Memory Networks für maschinelle Verständnis

Die maschinelle Textverständnisfragebeantwortung (Machine Comprehension, MC) ist ein repräsentatives Problem im Bereich der natürlichen Sprachverarbeitung. Vorherige Methoden haben selten Zeit darauf verwendet, die Kodierungsebene zu verbessern, insbesondere die Einbettung von syntaktischer Information und benannten Entitäten der Wörter, die für die Qualität der Kodierung sehr wichtig sind. Darüber hinaus können existierende Aufmerksamkeitsmethoden entweder jedes Abfragewort als Vektor darstellen oder den gesamten Abfragesatz durch einen einzelnen Vektor repräsentieren; keines von beiden kann das angemessene Gewicht der Schlüsselwörter im Abfragesatz verarbeiten. In dieser Arbeit stellen wir eine neuartige neuronale Netzwerkarchitektur vor, die als Multi-Layer Embedding with Memory Network (MEMEN) bezeichnet wird und für Maschinelles Leseverständnis entwickelt wurde. In der Kodierungsebene verwenden wir das klassische Skip-Gram-Modell zur syntaktischen und semantischen Information der Wörter, um eine neue Art von Einbettungsschicht zu trainieren. Wir schlagen auch ein Gedächtnisnetzwerk vor, das eine vollständig orientierte Übereinstimmung zwischen Abfrage und Textabschnitt ermöglicht, um mehr entscheidende Informationen zu erfassen. Experimente zeigen, dass unser Modell sowohl hinsichtlich Präzision als auch Effizienz in dem Stanford Question Answering Dataset (SQuAD) wettbewerbsfähige Ergebnisse erzielt und unter allen veröffentlichten Ergebnissen den aktuellen Stand der Technik auf dem TriviaQA-Datensatz erreicht.