Incremental few-shot learning mittels Vektorquantisierung im tiefen eingebetteten Raum

Die Fähigkeit, neue Aufgaben inkrementell zu lernen, ohne bereits gelernte Aufgaben zu vergessen, stellt aufgrund des Phänomens des katastrophalen Vergessens eine herausfordernde Aufgabe dar. Diese Herausforderung verstärkt sich weiterhin, wenn die neuen Aufgaben nur sehr wenige gelabelte Trainingsbeispiele enthalten. Derzeit sind die meisten Ansätze auf das klasseninkrementelle Lernen ausgerichtet und setzen eine ausreichende Menge an Trainingsdaten voraus, um zusätzliche Gewichte für neu hinzugefügte Klassen zu lernen. Diese Methoden lassen sich jedoch nicht leicht auf inkrementelle Regressionsaufgaben übertragen und neigen bei der Bearbeitung von Few-Shot-Aufgaben zu schwerer Überanpassung. In dieser Studie schlagen wir eine nichtparametrische Methode im tiefen eingebetteten Raum vor, um inkrementelle Few-Shot-Lernprobleme anzugehen. Das Wissen über die bereits gelernten Aufgaben wird in einer kleinen Anzahl quantisierter Referenzvektoren komprimiert. Der vorgeschlagene Ansatz lernt neue Aufgaben sequenziell, indem er für jede neue Aufgabe mit wenigen Beispielen zusätzliche Referenzvektoren zum Modell hinzufügt. Bei Klassifikationsaufgaben verwenden wir ein Nachbarschaftsverfahren zur Klassifikation bei spärlich verfügbaren Daten und integrieren eine Berücksichtigung der intra-klassischen Variabilität, eine Regularisierung zur Verminderung des Vergessens sowie eine Kalibrierung der Referenzvektoren, um das katastrophale Vergessen zu mildern. Zudem kann die vorgeschlagene Lernvektorquantisierung (Learning Vector Quantization, LVQ) im tiefen eingebetteten Raum als Kernel-Smoothers für inkrementelle Few-Shot-Regressionsaufgaben angepasst werden. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode andere aktuelle State-of-the-Art-Methoden im inkrementellen Lernen übertrifft.