HyperAIHyperAI

Command Palette

Search for a command to run...

Behebung von Aufgabenverwirrung in dynamischen Erweiterungsarchitekturen für klasseninkrementelles Lernen

Bingchen Huang Zhineng Chen Peng Zhou Jiayin Chen Zuxuan Wu

Zusammenfassung

Die dynamische Erweiterungsarchitektur gewinnt in der klassen-inkrementellen Lernumgebung zunehmend an Beliebtheit, hauptsächlich aufgrund ihrer Vorteile bei der Minderung des katastrophalen Vergessens. Dennoch wird innerhalb dieses Rahmens die Aufgabenverwirrung (task confusion) bisher nicht ausreichend bewertet: So wird beispielsweise die Diskrepanz zwischen Klassen verschiedener Aufgaben nicht gut erlernt (d.h. inter-task confusion, ITC), und bestimmte Priorität wird weiterhin der neuesten Klassenbatch zugewiesen (d.h. old-new confusion, ONC). Wir validieren empirisch die negativen Auswirkungen dieser beiden Verwirrungsarten. Gleichzeitig wird ein neuartiger Ansatz vorgestellt, genannt Task Correlated Incremental Learning (TCIL), der eine differenzierende und faire Nutzung von Merkmalen über verschiedene Aufgaben hinweg fördern soll. TCIL realisiert eine mehrstufige Wissensdistillation, um Wissen aus alten Aufgaben auf die neue Aufgabe zu übertragen. Es etabliert Informationsflusspfade sowohl auf Merkmals- als auch auf Logit-Ebene, wodurch das Lernen der alten Klassen bewusst berücksichtigt wird. Zudem werden Aufmerksamkeitsmechanismen und eine Neubewertung der Klassifikatorausgaben eingesetzt, um eine gerechtere Klassifikationsbewertung zu erzielen. Umfassende Experimente werden auf den Datensätzen CIFAR100 und ImageNet100 durchgeführt. Die Ergebnisse zeigen, dass TCIL konsistent die derzeit beste Genauigkeit erreicht. Es reduziert sowohl ITC als auch ONC und zeigt zudem Vorteile im Kampf gegen katastrophales Vergessen – selbst ohne die Verwendung von Rehearsal-Speicher.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Behebung von Aufgabenverwirrung in dynamischen Erweiterungsarchitekturen für klasseninkrementelles Lernen | Paper | HyperAI