HyperAIHyperAI

Command Palette

Search for a command to run...

FusionNet: Fusion durch vollständig bewusste Aufmerksamkeit mit Anwendung auf maschinelle Verstehensfähigkeit

Hsin-Yuan Huang Chenguang Zhu Yelong Shen Weizhu Chen

Zusammenfassung

Dieses Papier stellt eine neue neuronale Struktur namens FusionNet vor, die existierende Aufmerksamkeitsansätze von drei Perspektiven aus erweitert. Erstens führt es das neuartige Konzept des "Wortverlaufs" (history of word) ein, um Aufmerksamkeitsinformationen vom niedrigsten Wortebene-Embedding bis zur höchsten semantischen Repräsentation zu charakterisieren. Zweitens präsentiert es eine verbesserte Aufmerksamkeitbewertungsfunktion, die das Konzept des "Wortverlaufs" besser nutzt. Drittens schlägt es einen vollständig bewussten Mehrebenen-Aufmerksamkeitsmechanismus vor, der die gesamte Information in einem Text (wie einer Frage) schichtweise erfasst und in dessen Gegenstück (wie Kontext oder Passage) nutzt. Wir wenden FusionNet auf den Stanford Question Answering Dataset (SQuAD) an und erreichen zum Zeitpunkt der Abfassung (4. Oktober 2017) den ersten Platz sowohl für das einzelne Modell als auch für das Ensemblemodell im offiziellen SQuAD-Leaderboard. Gleichzeitig überprüfen wir die Generalisierungsfähigkeit von FusionNet mit zwei feindlichen SQuAD-Datensätzen und es etabliert den neuen Stand der Technik in beiden Datensätzen: bei AddSent steigert FusionNet das beste F1-Maß von 46,6 % auf 51,4 %; bei AddOneSent erhöht FusionNet das beste F1-Maß von 56,0 % auf 60,7 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FusionNet: Fusion durch vollständig bewusste Aufmerksamkeit mit Anwendung auf maschinelle Verstehensfähigkeit | Paper | HyperAI