HyperAIHyperAI

Command Palette

Search for a command to run...

Kontinuierliches Lernen mit Hypernetzen

Johannes von Oswald; Christian Henning; Benjamin F. Grewe; João Sacramento

Zusammenfassung

Künstliche neuronale Netze leiden an katastrophalischem Vergessen, wenn sie sequenziell auf mehreren Aufgaben trainiert werden. Um dieses Problem zu überwinden, stellen wir einen neuen Ansatz vor, der auf taskbedingten Hypernetzen basiert, d.h. Netzen, die die Gewichte eines Zielmodells basierend auf der Aufgabenidentität generieren. Das kontinuierliche Lernen (CL) ist für diese Klasse von Modellen dank einer einfachen Schlusseigenschaft weniger schwierig: Anstatt die Eingabe-Ausgabe-Beziehungen aller bisher gesehenen Daten zu rekonstruieren, müssen taskbedingte Hypernetze nur spezifische Gewichtsrealisierungen für Aufgaben wiederholen, die mit einem einfachen Regularisierer im Gedächtnis gehalten werden können. Neben der Erreichung von Stand-of-the-Art-Leistungen bei standardmäßigen CL-Benchmarks zeigen zusätzliche Experimente mit langen Aufgabensequenzen, dass taskbedingte Hypernetze eine sehr große Kapazität zur Beibehaltung früherer Erinnerungen aufweisen. Bemerkenswerterweise werden solche langen Gedächtnisdauern in einem kompressiven Regime erreicht, wenn die Anzahl der trainierbaren Hypernetzgewichte vergleichbar oder kleiner als die Größe des Zielnetzes ist. Wir geben Einblicke in die Struktur niedrigdimensionaler Task-Embedding-Räume (den Eingaberaum des Hypernetzes) und zeigen, dass taskbedingte Hypernetze Transferlernen demonstrieren. Schließlich wird das Vorwärtsinformationsübertragen durch empirische Ergebnisse bei einem anspruchsvollen CL-Benchmark basierend auf den Bild-Datensätzen CIFAR-10/100 weiter gestützt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp