Gated-Attention Leser für Textverständnis

In dieser Arbeit untersuchen wir das Problem der Beantwortung von Lückentextfragen in Dokumenten. Unser Modell, der Gated-Attention (GA) Reader, kombiniert eine Multi-Hop-Architektur mit einer neuen Aufmerksamkeitsmechanismus, der auf multiplikativen Interaktionen zwischen der Abfrage-Embedding und den Zwischenzuständen eines rekurrenten neuronalen Netzwerks für die Dokumentenauswertung basiert. Dies ermöglicht es dem Reader, abfragebezogene Darstellungen der Token im Dokument zu erstellen, um genaue Antworten auszuwählen. Der GA Reader erzielt Stand-of-the-Art-Ergebnisse bei drei Benchmarks für diese Aufgabe – den CNN & Daily Mail Nachrichtengeschichten und dem Who Did What-Datensatz. Die Effektivität der multiplikativen Interaktion wird durch eine Ablationsstudie und durch Vergleiche mit alternativen Kompositionsoperatoren zur Implementierung des Gated-Attention nachgewiesen. Der Code ist unter https://github.com/bdhingra/ga-reader verfügbar.请注意，这里有一些细节需要澄清：1. "Multi-Hop-Architektur" 是多跳架构的直接翻译，但根据上下文可能需要进一步解释或使用更常见的术语。2. "Abfrage-Embedding" 和 "Zwischenzustände" 也是直接翻译，如果在特定领域有更常用的术语，请告知我以便进行调整。如果您有任何具体的要求或偏好，请告诉我。