Das Überwinden des katastrophalen Vergessens durch harte Aufmerksamkeit für die Aufgabe

Katastrophisches Vergessen tritt auf, wenn ein neuronales Netzwerk nach der Schulung an nachfolgenden Aufgaben die zuvor gelernten Informationen verliert. Dieses Problem stellt weiterhin eine Hürde für künstliche Intelligenzsysteme mit sequenziellen Lernfähigkeiten dar. In dieser Arbeit schlagen wir einen aufgabenbasierten Mechanismus für harte Aufmerksamkeit vor, der die Informationen von früheren Aufgaben bewahrt, ohne das Lernen der aktuellen Aufgabe zu beeinflussen. Ein hartes Aufmerksamkeitsmaskierungsmuster wird bei jeder Aufgabe durch stochastischen Gradientenabstieg gelernt und die vorherigen Maskierungen werden genutzt, um dieses Lernen zu konditionieren. Wir zeigen, dass der vorgeschlagene Mechanismus effektiv ist, um katastrophisches Vergessen zu reduzieren, wobei er aktuelle Raten um 45 bis 80 % senkt. Zudem demonstrieren wir, dass er robust gegenüber verschiedenen Hyperparameterwahlen ist und eine Reihe von Überwachungsfunktionen bietet. Der Ansatz ermöglicht es, sowohl die Stabilität als auch die Kompaktheit des gelernten Wissens zu steuern, was ihn auch für Online-Lern- oder Netzwerkkompressionsanwendungen attraktiv macht.