HyperAIHyperAI

Command Palette

Search for a command to run...

Verstärkter mnemonischer Leser für maschinelle Textverständnis

Minghao Hu Yuxing Peng Zhen Huang Xipeng Qiu Furu Wei Ming Zhou

Zusammenfassung

In dieser Arbeit stellen wir den Reinforced Mnemonic Reader für Maschinelles Leseverstehen vor, der die bisherigen aufmerksamkeitsbasierten Reader in zwei Aspekten verbessert. Erstens wird ein Re-Attention-Mechanismus vorgeschlagen, um die aktuelle Aufmerksamkeit durch direkten Zugriff auf vergangene Aufmerksamkeiten zu verfeinern, die zeitlich in einer mehrfachen Ausrichtungsarchitektur gespeichert sind. Dies dient dazu, Probleme der Aufmerksamkeitsredundanz und -mangel zu vermeiden. Zweitens wird eine neue Optimierungsmethode eingeführt, die als dynamisch-kritische Verstärkungslernen bezeichnet wird, um die Standard-Supervised-Methode zu erweitern. Diese Methode fördert stets die Vorhersage einer akzeptableren Antwort, um das Konvergenzhemmungsproblem zu lösen, das in traditionellen Verstärkungslernalgorithmen auftritt. Umfangreiche Experimente mit dem Stanford Question Answering Dataset (SQuAD) zeigen, dass unser Modell den aktuellen Stand der Technik erreicht. Gleichzeitig übertrifft unser Modell die früheren Systeme um mehr als 6 % sowohl in Bezug auf das Exact Match-Kriterium als auch das F1-Kriterium bei zwei feindseligen SQuAD-Datensätzen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp