Kontinuierliches Lernen kontextabhängiger Verarbeitung in neuronalen Netzen

Tiefe neuronale Netze (DNNs) sind leistungsstarke Werkzeuge zum Lernen komplexer, aber fester Abbildungsregeln zwischen Eingaben und Ausgaben. Dies begrenzt jedoch ihre Anwendung in komplexeren und dynamischeren Situationen, in denen die Abbildungsregeln nicht konstant bleiben, sondern sich je nach Kontext ändern. Um diese Einschränkungen zu überwinden, haben wir einen neuen Ansatz entwickelt, der einen Lernalgorithmus namens orthogonale Gewichtsmodifikation (OWM) sowie ein kontextabhängiges Verarbeitungsmodul (CDP) umfasst. Wir konnten zeigen, dass mit OWM das Problem des katastrophalen Vergessens überwunden werden kann und das CDP-Modul lernt, wie eine Merkmalsrepräsentation und ein Klassifizierer für verschiedene Kontexte wiederverwendet werden können. Dadurch ist es einem einzelnen Netzwerk möglich, zahlreiche kontextabhängige Abbildungsregeln auf kontinuierliche und online-basierte Weise zu erlernen, wobei es nur etwa 10 Beispiele pro Regel benötigt. Dies sollte hoch kompakte Systeme in der Lage sein, allmählich zahllose Regularitäten der realen Welt zu erlernen und letztendlich angemessen darin zu agieren.