Mehrgitterige Sequenzcodierung mittels dilatierter kompositorischer Einheiten für das Leseverständnis

Sequenzencoder sind entscheidende Komponenten vieler neuronaler Architekturen zum Lernen des Lesens und Verstehens. In diesem Artikel präsentieren wir einen neuen kompositionellen Encoder für das Leseverstehen (Reading Comprehension, RC). Unser vorgeschlagener Encoder ist nicht nur darauf ausgelegt, schnell zu sein, sondern auch ausdrucksstark. Insbesondere liegt die zentrale Neuheit unseres Encoders darin, dass er explizit über mehrere Granularitäten hinweg mittels eines neuen verdünnten Kompositionsmechanismus modelliert. In unserem Ansatz werden Gating-Funktionen durch die Modellierung von Beziehungen und Schlussfolgerungen über mehrgranulare Sequenzinformationen gelernt, was eine kompositionelle Lernfähigkeit ermöglicht, die sowohl langfristige als auch kurzfristige Informationen berücksichtigt. Wir führen Experimente auf drei RC-Datensätzen durch und zeigen, dass unser vorgeschlagener Encoder sowohl als eigenständiger Encoder als auch als ergänzender Baustein sehr vielversprechende Ergebnisse erzielt. Empirische Ergebnisse belegen, dass einfache Bi-Attention-Architekturen, die mit unserem vorgeschlagenen Encoder erweitert werden, nicht nur Ergebnisse auf State-of-the-Art-Niveau oder in der Nähe der besten Verfahren erreichen, sondern auch erheblich schneller sind als andere veröffentlichte Ansätze.