HyperAIHyperAI

Command Palette

Search for a command to run...

Ein hybrides neuronales Netzmodell für alltägliche Schlussfolgerungen

Pengcheng He; Xiaodong Liu; Weizhu Chen; Jianfeng Gao

Zusammenfassung

Dieses Papier schlägt ein hybrides neuronales Netzwerk (HNN) Modell für die allgemeine Schließfolgerungskraft vor. Ein HNN besteht aus zwei Komponentenmodellen, einem maskierten Sprachmodell und einem semantischen Ähnlichkeitsmodell, die einen BERT-basierten kontextuellen Encoder teilen, aber unterschiedliche modellspezifische Eingabe- und Ausgabeschichten verwenden. Das HNN erzielt neue Stand der Technik-Ergebnisse in drei klassischen Aufgaben zur allgemeinen Schließfolgerungskraft, indem es den WNLI-Benchmark auf 89 %, den Winograd-Schema-Challenge (WSC)-Benchmark auf 75,1 % und den PDP60-Benchmark auf 90,0 % anhebt. Eine Ablationsstudie zeigt, dass Sprachmodelle und semantische Ähnlichkeitsmodelle ergänzende Ansätze für die allgemeine Schließfolgerungskraft sind und das HNN die Stärken beider effektiv kombiniert. Der Code und die vortrainierten Modelle werden öffentlich verfügbar sein unter https://github.com/namisan/mt-dnn.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein hybrides neuronales Netzmodell für alltägliche Schlussfolgerungen | Paper | HyperAI