HyperAIHyperAI

Command Palette

Search for a command to run...

Mehrgitterige Sequenzcodierung mittels dilatierter kompositorischer Einheiten für das Leseverständnis

Anh Tuan Luu Yi Tay Siu Cheung Hui

Zusammenfassung

Sequenzencoder sind entscheidende Komponenten vieler neuronaler Architekturen zum Lernen des Lesens und Verstehens. In diesem Artikel präsentieren wir einen neuen kompositionellen Encoder für das Leseverstehen (Reading Comprehension, RC). Unser vorgeschlagener Encoder ist nicht nur darauf ausgelegt, schnell zu sein, sondern auch ausdrucksstark. Insbesondere liegt die zentrale Neuheit unseres Encoders darin, dass er explizit über mehrere Granularitäten hinweg mittels eines neuen verdünnten Kompositionsmechanismus modelliert. In unserem Ansatz werden Gating-Funktionen durch die Modellierung von Beziehungen und Schlussfolgerungen über mehrgranulare Sequenzinformationen gelernt, was eine kompositionelle Lernfähigkeit ermöglicht, die sowohl langfristige als auch kurzfristige Informationen berücksichtigt. Wir führen Experimente auf drei RC-Datensätzen durch und zeigen, dass unser vorgeschlagener Encoder sowohl als eigenständiger Encoder als auch als ergänzender Baustein sehr vielversprechende Ergebnisse erzielt. Empirische Ergebnisse belegen, dass einfache Bi-Attention-Architekturen, die mit unserem vorgeschlagenen Encoder erweitert werden, nicht nur Ergebnisse auf State-of-the-Art-Niveau oder in der Nähe der besten Verfahren erreichen, sondern auch erheblich schneller sind als andere veröffentlichte Ansätze.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp