DUMA: Leseverstehen mit vertauschungsbasiertem Denken

Die mehrfachwahlbasierte maschinelle Leseverständnisaufgabe (Multi-choice Machine Reading Comprehension, MRC) erfordert von einem Modell, bei gegebenem Textabschnitt und einer Frage die korrekte Antwort aus einer Menge von Antwortoptionen auszuwählen. Daher benötigt die mehrfachwahlbasierte MRC neben einem leistungsfähigen vortrainierten Sprachmodell (Pre-trained Language Model, PrLM) als Encoder insbesondere eine effektive Matching-Netzwerk-Architektur, die in der Lage ist, die Beziehungen zwischen dem Tripel aus Textabschnitt, Frage und Antworten präzise zu erfassen. Während neuere, leistungsfähigere PrLMs bereits ohne Unterstützung durch ein Matching-Netzwerk bemerkenswerte Ergebnisse erzielen konnten, schlagen wir ein neues Modell namens DUal Multi-head Co-Attention (DUMA) vor, das sich an dem menschlichen Denkprozess der Transposition orientiert, um die mehrfachwahlbasierte MRC-Aufgabe zu lösen: Dabei betrachtet jeweils der Textabschnitt und die Frage die andere Komponente aus ihrer eigenen Perspektive, wodurch eine gegenseitige Aufmerksamkeit entsteht. Die vorgeschlagene DUMA-Architektur hat sich als wirksam erwiesen und ist in der Lage, generell die Leistung von PrLMs zu steigern. Unser Ansatz wurde an zwei etablierten Benchmark-Aufgaben der mehrfachwahlbasierten MRC, DREAM und RACE, evaluiert, wobei sich zeigte, dass DUMA selbst bei Verwendung leistungsfähiger PrLMs die Modellleistung weiter verbessern kann und somit neue State-of-the-Art-Ergebnisse erzielt.