SG-Net: Syntax-Guided Machine Reading Comprehension SG-Net: Syntax-gesteuerte maschinelle Textverständnis

Für die maschinelle Textverständnis ist die Fähigkeit, das sprachliche Wissen aus detaillierten und langen Passagen effektiv zu modellieren und Störungen zu eliminieren, entscheidend, um ihre Leistung zu verbessern. Traditionelle Aufmerksamkeitsmodelle richten ihre Aufmerksamkeit ohne explizite Einschränkungen auf alle Wörter, was zu einer ungenauen Fokussierung auf einige überflüssige Wörter führt. In dieser Arbeit schlagen wir vor, Syntax zur Textmodellierung einzusetzen, indem wir explizite syntaktische Einschränkungen in den Aufmerksamkeitsmechanismus integrieren, um bessere sprachlich motivierte Wortrepräsentationen zu erzeugen. Im Detail führen wir eine syntaktisch interessante Abhängigkeitsstruktur (Syntactic Dependency of Interest, SDOI) in das Selbst-Aufmerksamkeitsnetzwerk (Self-Attention Network, SAN) ein, das auf einem Transformer-basierten Encoder basiert, um ein SDOI-SAN mit syntaxgeleiteter Selbst-Aufmerksamkeit zu bilden. Das syntaxgeleitete Netzwerk (Syntax-Guided Network, SG-Net) besteht dann aus diesem zusätzlichen SDOI-SAN und dem SAN des ursprünglichen Transformer-Encoders durch eine duale kontextuelle Architektur für eine bessere linguistisch inspirierte Repräsentation. Um seine Effektivität zu überprüfen, wird das vorgeschlagene SG-Net auf das typische vortrainierte Sprachmodell BERT angewendet, das ebenfalls auf einem Transformer-Encoder basiert. Ausführliche Experimente auf gängigen Benchmarks wie SQuAD 2.0 und RACE zeigen, dass die vorgeschlagene SG-Net-Struktur erhebliche Leistungsverbesserungen gegenüber starken Baselines erreicht.