HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen, Aufgabenbezogene Baumstrukturen zu Komponieren

Jihun Choi; Kang Min Yoo; Sang-goo Lee

Zusammenfassung

Seit Jahren haben rekursive neuronale Netze (RvNNs) sich als geeignet erwiesen, um Text in Vektoren fester Länge darzustellen und dabei gute Leistungen bei mehreren Aufgaben der natürlichen Sprachverarbeitung erzielt. Der Hauptnachteil von RvNNs besteht jedoch darin, dass sie strukturierte Eingaben benötigen, was die Datenvorbereitung und die Modellimplementierung erschwert. In dieser Arbeit schlagen wir das Gumbel Tree-LSTM vor, eine neuartige baumförmige Long Short-Term Memory-Architektur, die effizient lernt, wie man aufgabenbezogene Baumstrukturen ausschließlich aus unstrukturierten Textdaten zusammensetzt. Unser Modell verwendet den Straight-Through Gumbel-Softmax-Schätzer, um dynamisch den Elternknoten unter Kandidaten zu bestimmen und die Gradienten der diskreten Entscheidung zu berechnen. Wir evaluieren das vorgeschlagene Modell anhand von natürlicher Sprachinferenz und Sentimentanalyse und zeigen, dass unser Modell die bisherigen Modelle übertrifft oder zumindest mit ihnen vergleichbar ist. Darüber hinaus stellen wir fest, dass unser Modell signifikant schneller konvergiert als andere Modelle.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp