Unsicherheitsbasiertes kontinuierliches Lernen mit adaptiver Regularisierung

Wir stellen einen neuen kontinuierlichen Lernalgorithmus vor, der auf neuronale Netze basiert und als Unsicherheits-regulierter kontinuierlicher Lernalgorithmus (UCL) bezeichnet wird. Dieser Algorithmus baut auf dem traditionellen bayesschen Online-Lernrahmen mit variationsanalytischer Inferenz auf. Wir konzentrieren uns auf zwei wesentliche Nachteile der kürzlich vorgeschlagenen regulierungsbasierten Methoden: a) erhebliche zusätzliche Speicherkosten zur Bestimmung der Gewichtsregulierungsstärken pro Gewicht und b) das Fehlen eines sanften Vergessensschemas, das eine Leistungsverschlechterung beim Lernen neuer Aufgaben verhindern kann. In dieser Arbeit zeigen wir, dass UCL diese beiden Probleme lösen kann, indem es eine neue Interpretation des Kullback-Leibler-Divergenzterms (KL-Divergenz) der variationsanalytischen unteren Schranke für die Gaußsche Mean-Field-Approximation einführt. Basierend auf dieser Interpretation schlagen wir den Begriff der Knotenweise Unsicherheit vor, der die Anzahl der zusätzlichen Parameter zur Implementierung der Gewichtsregulierung drastisch reduziert. Darüber hinaus entwickeln wir zwei zusätzliche Regularisierungsterme, die durch das Fixieren wichtiger Parameter für vergangene Aufgaben Stabilität erzwingen und durch die Kontrolle der aktiv lernenden Parameter für eine neue Aufgabe Plastizität ermöglichen. Durch umfangreiche Experimente zeigen wir, dass UCL überzeugend die meisten aktuellen Stand-of-the-Art-Baselines nicht nur bei gängigen überwachten Lernaufgaben, sondern auch bei anspruchsvollen lebenslangen Verstärkungslernaufgaben übertreffen kann. Der Quellcode unseres Algorithmus ist unter https://github.com/csm9493/UCL verfügbar.