Das Überwinden des katastrophalen Vergessens in neuronalen Netzen

Die Fähigkeit, Aufgaben sequenziell zu erlernen, ist entscheidend für die Entwicklung künstlicher Intelligenz. Neuronale Netze sind im Allgemeinen nicht in der Lage, dies zu tun, und es wird weitgehend angenommen, dass das katastrophale Vergessen eine unvermeidliche Eigenschaft von verbindungsorientierten Modellen ist. Wir zeigen, dass es möglich ist, diese Einschränkung zu überwinden und Netzwerke zu trainieren, die ihre Expertise in Aufgaben aufrechterhalten können, die sie seit langer Zeit nicht mehr erlebt haben. Unser Ansatz erinnert sich an alte Aufgaben, indem er das Lernen auf den für diese Aufgaben wichtigen Gewichten selektiv verlangsamt. Wir beweisen die Skalierbarkeit und Effektivität unseres Ansatzes durch die Lösung einer Reihe von Klassifikationsaufgaben basierend auf dem MNIST-Handgeschriebenen-Zifferndatensatz sowie durch das sequenzielle Lernen mehrerer Atari 2600 Spiele.