HyperAIHyperAI

Command Palette

Search for a command to run...

Effizientes lifelong Learning mit A-GEM

Arslan Chaudhry Marc’Aurelio Ranzato Marcus Rohrbach Mohamed Elhoseiny

Zusammenfassung

Im Bereich des lebenslangen Lernens wird der Lernende einer Reihe von Aufgaben präsentiert, wobei schrittweise ein datengestütztes Prior gebildet wird, das zur Beschleunigung des Lernens einer neuen Aufgabe genutzt werden kann. In dieser Arbeit untersuchen wir die Effizienz aktueller Ansätze des lebenslangen Lernens hinsichtlich der Stichprobenkomplexität, den Rechen- und Speicherkosten. Dazu führen wir zunächst ein neues und realistischeres Evaluationsprotokoll ein, bei dem Lernende jedes Beispiel nur einmal beobachten und die Hyperparameterauswahl auf einer kleinen und disjunkten Menge von Aufgaben durchgeführt wird, die nicht für den eigentlichen Lernaufwand und die Bewertung verwendet wird. Zweitens stellen wir eine neue Metrik vor, die misst, wie schnell ein Lernender eine neue Fähigkeit erlernt. Drittens schlagen wir eine verbesserte Version von GEM (Lopez-Paz & Ranzato, 2017) vor, die als Averaged GEM (A-GEM) bezeichnet wird. Diese bietet dieselbe oder sogar bessere Leistung als GEM, während sie fast so rechen- und speicherintensiv ist wie EWC (Kirkpatrick et al., 2016) und andere regularisierungsbasierende Methoden. Schließlich zeigen wir, dass alle Algorithmen, einschließlich A-GEM, noch schneller lernen können, wenn sie mit Task-Deskriptoren versorgt werden, die die zu betrachtenden Klassifizierungsaufgaben spezifizieren. Unsere Experimente an mehreren standardisierten Benchmarks des lebenslangen Lernens demonstrieren, dass A-GEM den besten Kompromiss zwischen Genauigkeit und Effizienz bietet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp