Die Weltzustände verfolgen mit rekurrenten Entitätsnetzen

Wir stellen ein neues Modell vor, das Rekurrente Entitätsnetzwerk (Recurrent Entity Network, EntNet). Es verfügt über ein dynamisches Langzeitgedächtnis, das es ermöglicht, eine Darstellung des Zustands der Welt aufrechtzuerhalten und zu aktualisieren, während es neue Daten erhält. Für Sprachverarbeitungsaufgaben kann es im Flug denken, während es Text liest, nicht nur dann, wenn es aufgefordert wird, eine Frage zu beantworten oder zu reagieren, wie dies bei einem Memory Network (Sukhbaatar et al., 2015) der Fall ist. Ähnlich wie eine Neuronale Turing-Maschine oder ein Differenzierbarer Neuronaler Computer (Neural Turing Machine, Graves et al., 2014; Differenzierbarer Neuronaler Computer, Graves et al., 2016) behält es ein Gedächtnis von fester Größe und kann lernen, ortsbasierte und inhaltsbasierte Lese- und Schreiboperationen durchzuführen. Im Gegensatz zu diesen Modellen hat das EntNet jedoch eine einfache parallele Architektur, bei der mehrere Speicherorte gleichzeitig aktualisiert werden können. Das EntNet setzt einen neuen Stand der Technik in den bAbI-Aufgaben und ist die erste Methode, die alle Aufgaben im Setting mit 10.000 Trainingsbeispielen löst. Wir zeigen außerdem, dass es eine Denkaufgabe lösen kann, die eine große Anzahl unterstützender Fakten erfordert, was andere Methoden nicht können. Es kann auch über seinen Trainingshorizont hinaus generalisieren. Zudem kann das EntNet praktisch auf großen Datensätzen wie dem Children's Book Test eingesetzt werden, wo es wettbewerbsfähige Ergebnisse erzielt und die Geschichte in einem einzigen Durchgang liest.