HyperAIHyperAI

Command Palette

Search for a command to run...

DUMA: Leseverstehen mit vertauschungsbasiertem Denken

Pengfei Zhu Hai Zhao Xiaoguang Li

Zusammenfassung

Die mehrfachwahlbasierte maschinelle Leseverständnisaufgabe (Multi-choice Machine Reading Comprehension, MRC) erfordert von einem Modell, bei gegebenem Textabschnitt und einer Frage die korrekte Antwort aus einer Menge von Antwortoptionen auszuwählen. Daher benötigt die mehrfachwahlbasierte MRC neben einem leistungsfähigen vortrainierten Sprachmodell (Pre-trained Language Model, PrLM) als Encoder insbesondere eine effektive Matching-Netzwerk-Architektur, die in der Lage ist, die Beziehungen zwischen dem Tripel aus Textabschnitt, Frage und Antworten präzise zu erfassen. Während neuere, leistungsfähigere PrLMs bereits ohne Unterstützung durch ein Matching-Netzwerk bemerkenswerte Ergebnisse erzielen konnten, schlagen wir ein neues Modell namens DUal Multi-head Co-Attention (DUMA) vor, das sich an dem menschlichen Denkprozess der Transposition orientiert, um die mehrfachwahlbasierte MRC-Aufgabe zu lösen: Dabei betrachtet jeweils der Textabschnitt und die Frage die andere Komponente aus ihrer eigenen Perspektive, wodurch eine gegenseitige Aufmerksamkeit entsteht. Die vorgeschlagene DUMA-Architektur hat sich als wirksam erwiesen und ist in der Lage, generell die Leistung von PrLMs zu steigern. Unser Ansatz wurde an zwei etablierten Benchmark-Aufgaben der mehrfachwahlbasierten MRC, DREAM und RACE, evaluiert, wobei sich zeigte, dass DUMA selbst bei Verwendung leistungsfähiger PrLMs die Modellleistung weiter verbessern kann und somit neue State-of-the-Art-Ergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp