HyperAIHyperAI

Command Palette

Search for a command to run...

Überwindung katas trophaler Vergessensphänomene bei inkrementellen Few-Shot-Lernverfahren durch die Suche nach flachen Minima

Guangyuan Shi Jiaxin Chen Wenlong Zhang Li-Ming Zhan Xiao-Ming Wu

Zusammenfassung

Diese Arbeit befasst sich mit dem inkrementellen Few-Shot-Lernen, bei dem ein Modell kontinuierlich neue Kategorien erkennen muss, wobei nur wenige Beispiele für jede neue Klasse bereitgestellt werden. Unsere Studie zeigt, dass bestehende Methoden erheblich unter katastrophalem Vergessen leiden, einem bekannten Problem im inkrementellen Lernen, das durch die Knappheit und Ungleichgewicht der Daten im Few-Shot-Szenario weiter verschärft wird. Unsere Analyse deutet zudem darauf hin, dass zur Vermeidung des katastrophalen Vergessens bereits in einem frühen Stadium – nämlich bei der Ausbildung der Basisklassen – Maßnahmen ergriffen werden müssen, anstatt erst während späterer Few-Shot-Lernphasen zu reagieren. Daher schlagen wir vor, flache lokale Minima der Basislernzielfunktion zu suchen und anschließend die Modellparameter innerhalb dieses flachen Bereichs auf neue Aufgaben feinabzustimmen. Auf diese Weise kann das Modell neue Klassen effizient erlernen, während die bereits gelernten Klassen erhalten bleiben. Umfassende experimentelle Ergebnisse zeigen, dass unser Ansatz alle vorherigen State-of-the-Art-Methoden übertrifft und sich der annähernden oberen Grenze sehr nahe befindet. Der Quellcode ist unter https://github.com/moukamisama/F2M verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp