Erreichen der Vergessensverhütung und des Wissenstransfers im kontinuierlichen Lernen

Kontinuierliches Lernen (Continual Learning, CL) lernt eine Folge von Aufgaben inkrementell, mit dem Ziel, zwei zentrale Ziele zu erreichen: die Überwindung des katastrophalen Vergessens (Catastrophic Forgetting, CF) und die Förderung des Wissenstransfers (Knowledge Transfer, KT) zwischen Aufgaben. Allerdings konzentrieren sich die meisten bestehenden Ansätze ausschließlich auf die Bewältigung von CF und verfügen über keine Mechanismen zur aktiven Förderung von KT, weshalb sie in Bezug auf KT nur eingeschränkt erfolgreich sind. Obwohl mehrere Arbeiten versucht haben, sowohl CF als auch KT zu adressieren, zeigen unsere Experimente, dass diese Ansätze bei Aufgaben mit geringem gemeinsamen Wissensbestand erhebliche Probleme mit CF aufweisen. Eine weitere Beobachtung ist, dass die meisten aktuellen CL-Methoden keine vortrainierten Modelle nutzen, obwohl gezeigt wurde, dass solche Modelle die Leistung für die Endaufgabe erheblich verbessern können. So ist beispielsweise das Feintuning eines BERT-ähnlichen vortrainierten Sprachmodells in der natürlichen Sprachverarbeitung eine der effektivsten Ansätze. Für CL leidet dieser Ansatz jedoch unter schwerwiegender CF. Eine interessante Frage ist daher, wie man vortrainierte Modelle optimal für CL nutzen kann. Diese Arbeit stellt ein neuartiges Modell namens CTR vor, um diese Probleme zu lösen. Unsere experimentellen Ergebnisse belegen die Wirksamkeit von CTR.