HyperAIHyperAI

Command Palette

Search for a command to run...

Dynamische Neuronale Turing-Maschine mit weichen und harten Adressierungsverfahren

Caglar Gulcehre Sarath Chandar Kyunghyun Cho Yoshua Bengio

Zusammenfassung

Wir erweitern das Modell der neuronalen Turing-Maschine (NTM) zu einer dynamischen neuronalen Turing-Maschine (D-NTM), indem wir ein lernfähiges Adressierungsverfahren für das Speichermodul einführen. Dieses Adressierungsverfahren verwalten für jede Speicherzelle zwei getrennte Vektoren: einen Inhaltsvektor und einen Adressvektor. Dadurch ist es der D-NTM möglich, eine Vielzahl von ortsbasierten Adressierungsstrategien, sowohl lineare als auch nichtlineare, zu erlernen. Wir implementieren die D-NTM sowohl mit kontinuierlichen, differenzierbaren als auch mit diskreten, nicht differenzierbaren Lese- und Schreibmechanismen. Die Mechanismen und Effekte des Lernens, in ein Speichersystem zu lesen und zu schreiben, untersuchen wir anhand von Experimenten auf den Facebook bAbI-Aufgaben unter Verwendung eines Feedforward-Controllers sowie eines GRU-Controllers (Gated Recurrent Unit). Die D-NTM wird an einem Satz von Facebook bAbI-Aufgaben evaluiert und zeigt dabei eine Überlegenheit gegenüber den Baselines NTM und LSTM. Wir haben eine umfassende Analyse unseres Modells sowie verschiedener Varianten der NTM auf den bAbI-Aufgaben durchgeführt. Zudem präsentieren wir weitere experimentelle Ergebnisse auf sequentiellen pMNIST-, Stanford Natural Language Inference-, assoziativen Erinnerungs- und Kopieraufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dynamische Neuronale Turing-Maschine mit weichen und harten Adressierungsverfahren | Paper | HyperAI