HyperAIHyperAI

Command Palette

Search for a command to run...

Dunkle Erfahrung für allgemeines kontinuierliches Lernen: Eine starke, einfache Baseline

Pietro Buzzega Matteo Boschini Angelo Porrello Davide Abati Simone Calderara

Zusammenfassung

Kontinuierliches Lernen hat eine Vielzahl von Ansätzen und Evaluierungsszenarien inspiriert; dennoch ignorieren die meisten davon die Eigenschaften einer praktischen Anwendungssituation, in der der Datenstrom nicht als Folge von Aufgaben strukturiert werden kann und eine Offline-Trainingsphase nicht möglich ist. Wir arbeiten an Generalized Continual Learning (GCL), bei dem sich die Aufgaben-Grenzen verwischen und sich sowohl die Domänen- als auch die Klassenverteilungen entweder kontinuierlich oder plötzlich verändern. Wir adressieren dieses Problem durch die Kombination von Rehearsal mit Knowledge Distillation und Regularisierung; unser einfacher Baseline-Ansatz, Dark Experience Replay, passt die Logits des Netzwerks an, die während des Optimierungstrajektorien abgetastet wurden, wodurch eine konsistente Anpassung an die Vergangenheit gefördert wird. Durch eine umfassende Analyse sowohl auf etablierten Benchmarks als auch auf einem neu eingeführten GCL-Evaluierungsszenario (MNIST-360) zeigen wir, dass ein solch scheinbar einfacher Ansatz konsolidierte Methoden übertrifft und dabei nur begrenzte Ressourcen nutzt. Darüber hinaus untersuchen wir die Generalisierungsfähigkeit unseres Ansatzes und belegen, dass die Regularisierung nicht nur die Leistung verbessert, sondern auch darüber hinaus vorteilhaft ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp