HyperAIHyperAI

Command Palette

Search for a command to run...

PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning

Arthur Douillard Matthieu Cord Charles Ollion Thomas Robert Eduardo Valle

Zusammenfassung

Lebenslanges Lernen hat erhebliche Aufmerksamkeit erregt, doch bestehende Ansätze kämpfen weiterhin mit dem Problem des katastrophalen Vergessens und der langfristigen Wissensakkumulation bei inkrementellen Lernprozessen. In dieser Arbeit präsentieren wir PODNet, ein Modell, das durch Darstellungslernen inspiriert ist. Durch eine sorgfältige Abwägung zwischen dem Erinnern alter Klassen und dem Erlernen neuer Klassen gelingt es PODNet, katastrophales Vergessen zu bekämpfen – selbst bei sehr langen Sequenzen kleiner inkrementeller Aufgaben, einem Szenario, das bislang von aktuellen Arbeiten unerforscht blieb. PODNet setzt sich von bestehenden Ansätzen durch eine effiziente, raumbezogene Distanzverlustfunktion, die über das gesamte Modell hinweg angewandt wird, sowie durch eine Darstellung, die für jede Klasse mehrere Proxy-Vektoren umfasst, ab. Wir validieren diese Innovationen umfassend und vergleichen PODNet mit drei state-of-the-art-Modellen anhand dreier Datensätze: CIFAR100, ImageNet100 und ImageNet1000. Unsere Ergebnisse zeigen eine signifikante Überlegenheit von PODNet gegenüber bestehenden Ansätzen, wobei die Genauigkeit um jeweils 12,10, 6,51 und 2,85 Prozentpunkte steigt. Der Quellcode ist unter https://github.com/arthurdouillard/incremental_learning.pytorch verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning | Paper | HyperAI