Wörter oder Zeichen? Feingranulare Gating für die Textverständnis

Frühere Arbeiten kombinieren wortbasierte und zeichenbasierte Repräsentationen durch Konkatenation oder skalare Gewichtung, was für hochwertige Aufgaben wie die Textverständnisanalyse suboptimal ist. Wir präsentieren ein feingranulares Gating-Mechanismus, um wortbasierte und zeichenbasierte Repräsentationen dynamisch basierend auf den Eigenschaften der Wörter zu kombinieren. Zudem erweitern wir das Konzept des feingranularen Gatings auf die Modellierung der Interaktion zwischen Fragen und Absätzen im Kontext von Textverständnis. Experimente zeigen, dass unser Ansatz die Leistung bei Textverständnistests verbessern kann und neue Stand-of-the-Art-Ergebnisse im Children's Book Test-Datensatz erzielt. Um die Allgemeingültigkeit unseres Gating-Mechanismus zu demonstrieren, präsentieren wir zudem verbesserte Ergebnisse bei einer Aufgabe zur Vorhersage von Social-Media-Hashtags.