HyperAIHyperAI

Command Palette

Search for a command to run...

NAPA-VQ: Nachbarschaftsbewusste Prototypenverstärkung mit Vektorquantisierung für kontinuierliches Lernen

Tamasha Malepathirana Damith Senanayake Saman Halgamuge

Zusammenfassung

Katastrophisches Vergessen; der Verlust alter Kenntnisse beim Erwerb neuer Kenntnisse, ist eine Herausforderung, mit der tiefgreifende neuronale Netze in realen Anwendungen konfrontiert sind. Viele gängige Lösungen für dieses Problem basieren auf dem Speichern von Exemplaren (früher begegneten Daten), was in Anwendungen mit Speicherbeschränkungen oder Datenschutzauflagen nicht immer machbar ist. Daher liegt der jüngste Fokus auf nicht-exemplarbasiertem klasseninkrementellen Lernen (NECIL), bei dem ein Modell schrittweise neue Klassen lernt, ohne dabei alte Exemplare zu verwenden. Aufgrund des Mangels an alten Daten haben NECIL-Methoden jedoch Schwierigkeiten, zwischen alten und neuen Klassen zu unterscheiden, was zu überlappenden Merkmalsrepräsentationen führt. Wir schlagen NAPA-VQ: Nachbarschaftsbewusste Prototypenerweiterung mit Vektorkuantisierung vor, einen Rahmen, der diesen Klassenumfang in NECIL reduziert. Inspiriert von Neural Gas lernen wir die topologischen Beziehungen im Merkmalsraum und identifizieren die benachbarten Klassen, die am wahrscheinlichsten miteinander verwechselt werden. Diese Nachbarschaftsinformation wird genutzt, um eine starke Trennung zwischen benachbarten Klassen zu erzwingen sowie alte klassenrepräsentative Prototypen zu generieren, die bei der Ermittlung einer diskriminativen Entscheidungsgrenze zwischen alten und neuen Klassen besser helfen können. Unsere umfassenden Experimente auf CIFAR-100, TinyImageNet und ImageNet-Subset zeigen, dass NAPA-VQ den Stand der Technik in NECIL-Methoden durchschnittlich um 5 %, 2 % und 4 % in Bezug auf Genauigkeit und um 10 %, 3 % und 9 % in Bezug auf das Vergessen übertreffen kann. Unser Code ist unter https://github.com/TamashaM/NAPA-VQ.git verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp