Phasenleiter bei mehrschichtigen Aufmerksamkeiten für maschinelle Verstehensfähigkeiten

Aufmerksamkeitsmodelle wurden intensiv untersucht, um NLP-Aufgaben wie maschinelle Verständnisfähigkeiten durch Fragebasierte Passage-Aufmerksamkeitsmodelle und Selbst-Matching-Aufmerksamkeitsmodelle zu verbessern. Unser Forschungsprojekt schlägt den Phasenkonduktor (PhaseCond) für Aufmerksamkeitsmodelle auf zwei bedeutende Arten vor. Erstens besteht PhaseCond, eine Architektur von mehrschichtigen Aufmerksamkeitsmodellen, aus mehreren Phasen, wobei jede Phase einen Stapel von Aufmerksamkeitsschichten zur Erstellung von Passagedarstellungen und einen Stapel von internen oder externen Fusionschichten zur Steuerung des Informationsflusses implementiert. Zweitens erweitern und verbessern wir die Skalarprodukt-Aufmerksamkeitsfunktion für PhaseCond, indem wir gleichzeitig mehrere Frage- und Passageneingabeschichten aus verschiedenen Perspektiven kodieren. Wir zeigen die Effektivität unseres vorgeschlagenen Modells PhaseCond am SQuAD-Datensatz, wobei unsere Modelle sowohl die neuesten Einzelschicht- als auch Mehrschicht-Aufmerksamkeitsmodelle deutlich übertreffen. Wir vertiefen unsere Ergebnisse durch neue Erkenntnisse mittels detaillierter qualitativer Analysen und visueller Beispiele, die die dynamischen Veränderungen durch mehrschichtige Aufmerksamkeitsmodelle veranschaulichen.