HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen, mehr zu merken, mit weniger Auswendiglernen

Hung Le Truyen Tran Svetha Venkatesh

Zusammenfassung

Neuronale Netzwerke mit erweitertem Gedächtnis, die aus einem neuronalen Controller und einem externen Gedächtnis bestehen, haben Potenzial in der langfristigen sequentiellen Lernung gezeigt. Aktuelle RAM-ähnliche Gedächtnismodelle behalten das Gedächtnis bei jedem Zeitschritt, sodass sie das kurzfristige Gedächtnis, das im Controller gespeichert ist, nicht effektiv nutzen. Wir vermuten, dass dieses Schreibschema in Bezug auf die Nutzung des Gedächtnisses suboptimal ist und redundante Berechnungen einführt. Um unsere Hypothese zu überprüfen, leiten wir eine theoretische Grenze für die Menge an Informationen ab, die in einem RAM-ähnlichen System gespeichert werden können, und formulieren ein Optimierungsproblem, das diese Grenze maximiert. Die vorgeschlagene Lösung, als Uniformes Schreiben (Uniform Writing) bezeichnet, wird unter der Annahme gleicher Beiträge aller Zeitschritte als optimal bewiesen. Um diese Annahme zu lockern, führen wir Modifikationen an der ursprünglichen Lösung ein, was zu einer Lösung führt, die als Gecachtes Uniformes Schreiben (Cached Uniform Writing) bezeichnet wird. Diese Methode strebt an, zwischen der Maximierung der Merkfähigkeit und dem Vergessen durch Überschreiben einen Ausgleich zu finden. Durch umfangreiche Experimente zeigen wir empirisch die Vorteile unserer Lösungen gegenüber anderen rekurrenten Architekturen und beanspruchen damit den Stand der Technik in verschiedenen sequentiellen Modellierungsaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen, mehr zu merken, mit weniger Auswendiglernen | Paper | HyperAI