Neuronale Programmspeicherspeicher

Neuronale Netze, die mit externem Speicher ausgestattet sind, simulieren Computerverhalten. Diese Modelle, die den Speicher verwenden, um Daten für einen neuronalen Controller zu speichern, können Algorithmen und andere komplexe Aufgaben lernen. In dieser Arbeit stellen wir einen neuen Speicher vor, der dazu dient, Gewichte für den Controller zu speichern, vergleichbar mit dem im modernen Computerarchitekturen verwendeten gespeicherten Programm-Speicher (stored-program memory). Das vorgeschlagene Modell, das als Neurales Gespeichertes-Programm-Speicher (Neural Stored-program Memory) bezeichnet wird, erweitert die derzeitigen speicherverstärkten neuronalen Netze und schafft differenzierbare Maschinen, die im Laufe der Zeit Programme wechseln, sich an veränderliche Kontexte anpassen und damit einer universellen Turing-Maschine ähneln können. Eine Vielzahl von Experimenten zeigt, dass die resultierenden Maschinen nicht nur in klassischen algorithmischen Problemen hervorragende Leistungen erbringen, sondern auch Potenzial für kompositionelles Lernen, kontinuierliches Lernen und Few-Shot-Lernen sowie Frage-Antwort-Aufgaben haben.