Behebung von Aufgabenverwirrung in dynamischen Erweiterungsarchitekturen für klasseninkrementelles Lernen

Die dynamische Erweiterungsarchitektur gewinnt in der klassen-inkrementellen Lernumgebung zunehmend an Beliebtheit, hauptsächlich aufgrund ihrer Vorteile bei der Minderung des katastrophalen Vergessens. Dennoch wird innerhalb dieses Rahmens die Aufgabenverwirrung (task confusion) bisher nicht ausreichend bewertet: So wird beispielsweise die Diskrepanz zwischen Klassen verschiedener Aufgaben nicht gut erlernt (d.h. inter-task confusion, ITC), und bestimmte Priorität wird weiterhin der neuesten Klassenbatch zugewiesen (d.h. old-new confusion, ONC). Wir validieren empirisch die negativen Auswirkungen dieser beiden Verwirrungsarten. Gleichzeitig wird ein neuartiger Ansatz vorgestellt, genannt Task Correlated Incremental Learning (TCIL), der eine differenzierende und faire Nutzung von Merkmalen über verschiedene Aufgaben hinweg fördern soll. TCIL realisiert eine mehrstufige Wissensdistillation, um Wissen aus alten Aufgaben auf die neue Aufgabe zu übertragen. Es etabliert Informationsflusspfade sowohl auf Merkmals- als auch auf Logit-Ebene, wodurch das Lernen der alten Klassen bewusst berücksichtigt wird. Zudem werden Aufmerksamkeitsmechanismen und eine Neubewertung der Klassifikatorausgaben eingesetzt, um eine gerechtere Klassifikationsbewertung zu erzielen. Umfassende Experimente werden auf den Datensätzen CIFAR100 und ImageNet100 durchgeführt. Die Ergebnisse zeigen, dass TCIL konsistent die derzeit beste Genauigkeit erreicht. Es reduziert sowohl ITC als auch ONC und zeigt zudem Vorteile im Kampf gegen katastrophales Vergessen – selbst ohne die Verwendung von Rehearsal-Speicher.