NAPA-VQ: Nachbarschaftsbewusste Prototypenverstärkung mit Vektorquantisierung für kontinuierliches Lernen

Katastrophisches Vergessen; der Verlust alter Kenntnisse beim Erwerb neuer Kenntnisse, ist eine Herausforderung, mit der tiefgreifende neuronale Netze in realen Anwendungen konfrontiert sind. Viele gängige Lösungen für dieses Problem basieren auf dem Speichern von Exemplaren (früher begegneten Daten), was in Anwendungen mit Speicherbeschränkungen oder Datenschutzauflagen nicht immer machbar ist. Daher liegt der jüngste Fokus auf nicht-exemplarbasiertem klasseninkrementellen Lernen (NECIL), bei dem ein Modell schrittweise neue Klassen lernt, ohne dabei alte Exemplare zu verwenden. Aufgrund des Mangels an alten Daten haben NECIL-Methoden jedoch Schwierigkeiten, zwischen alten und neuen Klassen zu unterscheiden, was zu überlappenden Merkmalsrepräsentationen führt. Wir schlagen NAPA-VQ: Nachbarschaftsbewusste Prototypenerweiterung mit Vektorkuantisierung vor, einen Rahmen, der diesen Klassenumfang in NECIL reduziert. Inspiriert von Neural Gas lernen wir die topologischen Beziehungen im Merkmalsraum und identifizieren die benachbarten Klassen, die am wahrscheinlichsten miteinander verwechselt werden. Diese Nachbarschaftsinformation wird genutzt, um eine starke Trennung zwischen benachbarten Klassen zu erzwingen sowie alte klassenrepräsentative Prototypen zu generieren, die bei der Ermittlung einer diskriminativen Entscheidungsgrenze zwischen alten und neuen Klassen besser helfen können. Unsere umfassenden Experimente auf CIFAR-100, TinyImageNet und ImageNet-Subset zeigen, dass NAPA-VQ den Stand der Technik in NECIL-Methoden durchschnittlich um 5 %, 2 % und 4 % in Bezug auf Genauigkeit und um 10 %, 3 % und 9 % in Bezug auf das Vergessen übertreffen kann. Unser Code ist unter https://github.com/TamashaM/NAPA-VQ.git verfügbar.