HyperAIHyperAI

Command Palette

Search for a command to run...

Unsicherheitsbasiertes kontinuierliches Lernen mit adaptiver Regularisierung

Hongjoon Ahn Sungmin Cha Donggyu Lee Taesup Moon

Zusammenfassung

Wir stellen einen neuen kontinuierlichen Lernalgorithmus vor, der auf neuronale Netze basiert und als Unsicherheits-regulierter kontinuierlicher Lernalgorithmus (UCL) bezeichnet wird. Dieser Algorithmus baut auf dem traditionellen bayesschen Online-Lernrahmen mit variationsanalytischer Inferenz auf. Wir konzentrieren uns auf zwei wesentliche Nachteile der kürzlich vorgeschlagenen regulierungsbasierten Methoden: a) erhebliche zusätzliche Speicherkosten zur Bestimmung der Gewichtsregulierungsstärken pro Gewicht und b) das Fehlen eines sanften Vergessensschemas, das eine Leistungsverschlechterung beim Lernen neuer Aufgaben verhindern kann. In dieser Arbeit zeigen wir, dass UCL diese beiden Probleme lösen kann, indem es eine neue Interpretation des Kullback-Leibler-Divergenzterms (KL-Divergenz) der variationsanalytischen unteren Schranke für die Gaußsche Mean-Field-Approximation einführt. Basierend auf dieser Interpretation schlagen wir den Begriff der Knotenweise Unsicherheit vor, der die Anzahl der zusätzlichen Parameter zur Implementierung der Gewichtsregulierung drastisch reduziert. Darüber hinaus entwickeln wir zwei zusätzliche Regularisierungsterme, die durch das Fixieren wichtiger Parameter für vergangene Aufgaben Stabilität erzwingen und durch die Kontrolle der aktiv lernenden Parameter für eine neue Aufgabe Plastizität ermöglichen. Durch umfangreiche Experimente zeigen wir, dass UCL überzeugend die meisten aktuellen Stand-of-the-Art-Baselines nicht nur bei gängigen überwachten Lernaufgaben, sondern auch bei anspruchsvollen lebenslangen Verstärkungslernaufgaben übertreffen kann. Der Quellcode unseres Algorithmus ist unter https://github.com/csm9493/UCL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp