HyperAIHyperAI

Command Palette

Search for a command to run...

RMM: Verstärkte Speicherverwaltung für klasseninkrementelles Lernen

Yaoyao Liu Bernt Schiele Qianru Sun

Zusammenfassung

Class-Incremental Learning (CIL) [40] trainiert Klassifizierer unter einer strengen Speichergrenze: In jeder inkrementellen Phase erfolgt das Lernen nur an neuen Daten, wobei der Großteil der alten Daten verworfen wird, um Platz für die nächste Phase zu schaffen. Die beibehaltenen Daten dienen als Exemplare für das Replay. Allerdings verwenden bestehende Methoden eine statische und ad-hoc-Strategie zur Speicherverwaltung, die oft suboptimal ist. In dieser Arbeit stellen wir eine dynamische Speicherverwaltungsmethode vor, die speziell für die inkrementellen Phasen und verschiedene Objektklassen optimiert ist. Wir nennen unsere Methode „Reinforced Memory Management (RMM)“, die auf Verstärkungslernen basiert. Die RMM-Trainingseinheit ist ursprünglich nicht natürlich mit CIL kompatibel, da während der inkrementellen Phasen sowohl die Vergangenheits- als auch die Zukunftsdaten strikt nicht zugänglich sind. Dies lösen wir, indem wir die Policy-Funktion von RMM auf sogenannten Pseudo-CIL-Aufgaben trainieren – beispielsweise Aufgaben, die auf den Daten der 0. Phase basieren – und diese anschließend auf die Ziel-Aufgaben anwenden. RMM propagiert zwei Ebenen von Aktionen: Ebene-1 bestimmt, wie der Speicher zwischen alten und neuen Klassen aufgeteilt wird, während Ebene-2 den Speicher für jede einzelne Klasse zuweist. Im Wesentlichen handelt es sich hierbei um eine optimierbare und allgemeine Methode zur Speicherverwaltung, die in beliebige auf Replay basierende CIL-Methoden integriert werden kann. Zur Evaluation integrieren wir RMM in zwei führende Baseline-Methoden (LUCIR+AANets und POD+AANets [30]) und führen Experimente auf drei Benchmarks (CIFAR-100, ImageNet-Subset und ImageNet-Full) durch. Unsere Ergebnisse zeigen deutliche Verbesserungen, beispielsweise eine Steigerung von POD+AANets um 3,6 %, 4,4 % und 1,9 % in den 25-Phasen-Einstellungen der genannten Benchmarks, jeweils.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp