Mehrere-Bereiche-Schlußfolgerung für die maschinelle Verständigung

Wir schlagen MRU (Multi-Range Reasoning Units) vor, einen neuen schnellen Kompositionscodierer für maschinelle Verstehensfähigkeiten (MC). Unsere vorgeschlagenen MRU-Codierer zeichnen sich durch mehrstufiges Gating aus und führen eine Reihe von parametrisierten Kontraktions- und Expansionschichten aus, um Gating-Vektoren zu lernen, die von langfristigen und kurzfristigen Abhängigkeiten profitieren. Die Ziele unserer Ansatz sind wie folgt definiert: (1) das Lernen von Repräsentationen, die gleichzeitig langfristige und kurzfristige Kontexte wahrnehmen, (2) das Modellieren von Beziehungen zwischen innerdokumentären Blöcken und (3) schnelles und effizientes Sequenzcodieren. Wir zeigen, dass unser vorgeschlagener Codierer sowohl als eigenständiger Codierer als auch als ergänzendes Bauteil vielversprechende Ergebnisse erzielt. Wir führen umfangreiche Experimente auf drei anspruchsvollen MC-Datensätzen durch, nämlich RACE, SearchQA und NarrativeQA, bei denen wir in allen Fällen sehr wettbewerbsfähige Leistungen erzielen. Bei der RACE-Benchmark übertrifft unser Modell DFN (Dynamic Fusion Networks) um 1,5%-6%, ohne irgende Schichten rekurrenter oder konvolutiver Art zu verwenden. Ebenso erreichen wir bei der SearchQA-Benchmark vergleichbare Leistungen im Vergleich zu AMANDA und bei der NarrativeQA-Benchmark im Vergleich zu BiDAF, ohne irgende LSTM/GRU-Schichten zu verwenden. Schließlich verbessert die Integration von MRU-Codierern in standardmäßige BiLSTM-Architekturen die Leistung weiter und ermöglicht es uns, den aktuellen Stand der Technik zu erreichen.