SDNet: Kontextbasiertes Aufmerksamkeitsnetzwerk für konversationelle Fragebeantwortung

Conversational Question Answering (CQA) ist eine neuartige Aufgabe im Bereich der Frage-Antwort-Systeme, die ein Verständnis des Dialogkontexts erfordert. Im Gegensatz zu traditionellen einstufigen Maschinenleseverstehensaufgaben (MRC) umfasst CQA Textverstehen, Coreferenzauflösung und Kontextverstehen. In dieser Arbeit schlagen wir ein innovatives kontextualisiertes Aufmerksamkeits-basiertes tiefes neuronales Netzwerk, SDNet, vor, um den Kontext in traditionelle MRC-Modelle zu integrieren. Unser Modell nutzt sowohl Inter-Aufmerksamkeit als auch Selbst-Aufmerksamkeit, um den Dialogkontext zu verstehen und relevante Informationen aus dem Text zu extrahieren. Darüber hinaus präsentieren wir eine neuartige Methode zur Integration des neuesten BERT-Kontextmodells. Empirische Ergebnisse zeigen die Effektivität unseres Modells, das auf der CoQA-Leaderboard einen neuen Stand der Technik erreicht hat und das bisher beste Modell um 1,6 % F1 übertreffen konnte. Unser Ensemble-Modell verbessert das Ergebnis zusätzlich um 2,7 % F1.