HyperAIHyperAI

Command Palette

Search for a command to run...

Aufmerksamkeitsverstärktes sequentielles Inferenzmodell

Guanyu Li Pengfei Zhang Caiyan Jia*

Zusammenfassung

Die Aufmerksamkeitsmechanismen (attention mechanisms) haben sich bei der Verarbeitung natürlicher Sprache (natural language processing) als effektiv erwiesen. In dieser Arbeit wird ein durch Aufmerksamkeit gesteigertes Modell für die Inferenz natürlicher Sprache vorgeschlagen, das aESIM genannt wird. Dies geschieht durch Hinzufügen von Wortaufmerksamkeit (word attention) und adaptiven, richtungsorientierten Aufmerksamkeitsmechanismen (adaptive direction-oriented attention mechanisms) zur traditionellen Bi-LSTM-Schicht (Bi-LSTM layer) von Inferenzmodellen für natürliche Sprache, wie z.B. ESIM. Dadurch verfügt das Inferenzmodell aESIM über die Fähigkeit, die Darstellung von Wörtern effektiv zu lernen und lokale inferentielle Beziehungen zwischen Paaren von Prämisse und Hypothese zu modellieren. Empirische Studien an den Benchmarks SNLI, MultiNLI und Quora zeigen, dass aESIM dem ursprünglichen ESIM-Modell überlegen ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Aufmerksamkeitsverstärktes sequentielles Inferenzmodell | Paper | HyperAI