Lernen, mehr zu merken, mit weniger Auswendiglernen

Neuronale Netzwerke mit erweitertem Gedächtnis, die aus einem neuronalen Controller und einem externen Gedächtnis bestehen, haben Potenzial in der langfristigen sequentiellen Lernung gezeigt. Aktuelle RAM-ähnliche Gedächtnismodelle behalten das Gedächtnis bei jedem Zeitschritt, sodass sie das kurzfristige Gedächtnis, das im Controller gespeichert ist, nicht effektiv nutzen. Wir vermuten, dass dieses Schreibschema in Bezug auf die Nutzung des Gedächtnisses suboptimal ist und redundante Berechnungen einführt. Um unsere Hypothese zu überprüfen, leiten wir eine theoretische Grenze für die Menge an Informationen ab, die in einem RAM-ähnlichen System gespeichert werden können, und formulieren ein Optimierungsproblem, das diese Grenze maximiert. Die vorgeschlagene Lösung, als Uniformes Schreiben (Uniform Writing) bezeichnet, wird unter der Annahme gleicher Beiträge aller Zeitschritte als optimal bewiesen. Um diese Annahme zu lockern, führen wir Modifikationen an der ursprünglichen Lösung ein, was zu einer Lösung führt, die als Gecachtes Uniformes Schreiben (Cached Uniform Writing) bezeichnet wird. Diese Methode strebt an, zwischen der Maximierung der Merkfähigkeit und dem Vergessen durch Überschreiben einen Ausgleich zu finden. Durch umfangreiche Experimente zeigen wir empirisch die Vorteile unserer Lösungen gegenüber anderen rekurrenten Architekturen und beanspruchen damit den Stand der Technik in verschiedenen sequentiellen Modellierungsaufgaben.