HyperAIHyperAI

Command Palette

Search for a command to run...

SDNet: Kontextbasiertes Aufmerksamkeitsnetzwerk für konversationelle Fragebeantwortung

Chenguang Zhu¹, Michael Zeng¹, Xuedong Huang¹

Zusammenfassung

Conversational Question Answering (CQA) ist eine neuartige Aufgabe im Bereich der Frage-Antwort-Systeme, die ein Verständnis des Dialogkontexts erfordert. Im Gegensatz zu traditionellen einstufigen Maschinenleseverstehensaufgaben (MRC) umfasst CQA Textverstehen, Coreferenzauflösung und Kontextverstehen. In dieser Arbeit schlagen wir ein innovatives kontextualisiertes Aufmerksamkeits-basiertes tiefes neuronales Netzwerk, SDNet, vor, um den Kontext in traditionelle MRC-Modelle zu integrieren. Unser Modell nutzt sowohl Inter-Aufmerksamkeit als auch Selbst-Aufmerksamkeit, um den Dialogkontext zu verstehen und relevante Informationen aus dem Text zu extrahieren. Darüber hinaus präsentieren wir eine neuartige Methode zur Integration des neuesten BERT-Kontextmodells. Empirische Ergebnisse zeigen die Effektivität unseres Modells, das auf der CoQA-Leaderboard einen neuen Stand der Technik erreicht hat und das bisher beste Modell um 1,6 % F1 übertreffen konnte. Unser Ensemble-Modell verbessert das Ergebnis zusätzlich um 2,7 % F1.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp