Dynamische Neuronale Turing-Maschine mit weichen und harten Adressierungsverfahren

Wir erweitern das Modell der neuronalen Turing-Maschine (NTM) zu einer dynamischen neuronalen Turing-Maschine (D-NTM), indem wir ein lernfähiges Adressierungsverfahren für das Speichermodul einführen. Dieses Adressierungsverfahren verwalten für jede Speicherzelle zwei getrennte Vektoren: einen Inhaltsvektor und einen Adressvektor. Dadurch ist es der D-NTM möglich, eine Vielzahl von ortsbasierten Adressierungsstrategien, sowohl lineare als auch nichtlineare, zu erlernen. Wir implementieren die D-NTM sowohl mit kontinuierlichen, differenzierbaren als auch mit diskreten, nicht differenzierbaren Lese- und Schreibmechanismen. Die Mechanismen und Effekte des Lernens, in ein Speichersystem zu lesen und zu schreiben, untersuchen wir anhand von Experimenten auf den Facebook bAbI-Aufgaben unter Verwendung eines Feedforward-Controllers sowie eines GRU-Controllers (Gated Recurrent Unit). Die D-NTM wird an einem Satz von Facebook bAbI-Aufgaben evaluiert und zeigt dabei eine Überlegenheit gegenüber den Baselines NTM und LSTM. Wir haben eine umfassende Analyse unseres Modells sowie verschiedener Varianten der NTM auf den bAbI-Aufgaben durchgeführt. Zudem präsentieren wir weitere experimentelle Ergebnisse auf sequentiellen pMNIST-, Stanford Natural Language Inference-, assoziativen Erinnerungs- und Kopieraufgaben.