Relationale rekurrente Neuronale Netze

Speicherbasierte neuronale Netze modellieren zeitliche Daten durch die Nutzung ihrer Fähigkeit, Informationen über längere Zeiträume zu speichern. Es ist jedoch unklar, ob sie auch in der Lage sind, komplexe relationale Schlussfolgerungen mit den gespeicherten Informationen zu ziehen. In dieser Arbeit bestätigen wir zunächst unsere Intuitionen, dass Standard-Speicherarchitekturen bei Aufgaben, die ein tiefes Verständnis der Weise erfordern, wie Entitäten miteinander verbunden sind – also bei Aufgaben, die relationales Denken erfordern – Schwierigkeiten haben könnten. Anschließend verbessern wir diese Mängel durch die Verwendung eines neuen Speichermoduls – einem \textit{Relationellen Speicherkern} (RMC) – das Multi-Head-Dot-Product-Aufmerksamkeit einsetzt, um Interaktionen zwischen den Erinnerungen zu ermöglichen. Schließlich testen wir den RMC an einer Reihe von Aufgaben, die von einer leistungsfähigeren relationalen Schlussfolgerung über sequenzielle Informationen profitieren könnten, und zeigen dabei große Verbesserungen in Reinforcement-Learning-Bereichen (z.B. Mini PacMan), Programmierungsbewertung und Sprachmodellierung. Wir erreichen dabei Stand-of-the-Art-Ergebnisse auf den Datensätzen WikiText-103, Project Gutenberg und GigaWord.