Lernen ohne zu Vergessen

Beim Aufbau eines einheitlichen Visionssystems oder beim schrittweisen Hinzufügen neuer Fähigkeiten zu einem System wird in der Regel angenommen, dass Trainingsdaten für alle Aufgaben immer verfügbar sind. Jedoch wird mit zunehmender Anzahl von Aufgaben die Speicherung und erneute Training auf diesen Daten unwirtschaftlich. Ein neues Problem entsteht, wenn wir neue Fähigkeiten zu einem Faltungsneuronalen Netzwerk (Convolutional Neural Network, CNN) hinzufügen, aber die Trainingsdaten für seine bestehenden Fähigkeiten nicht mehr zur Verfügung stehen. Wir schlagen unsere Methode des Lernens ohne Vergessen (Learning without Forgetting) vor, die das Netzwerk nur mit neuen Aufgabendaten trainiert, während sie die ursprünglichen Fähigkeiten bewahrt. Unsere Methode erzielt vergleichsweise günstige Ergebnisse im Vergleich zu häufig verwendeten Techniken der Merkmalsextraktion und Feinabstimmung (Fine-Tuning) und zeigt eine ähnliche Leistung wie das Multitask-Lernen, das ursprüngliche Aufgabendaten verwendet, die wir als nicht verfügbar annehmen. Eine noch überraschendere Beobachtung ist, dass Lernen ohne Vergessen in der Lage sein könnte, Feinabstimmung bei ähnlichen alten und neuen Aufgabendatensätzen zu ersetzen, um die Leistung bei neuen Aufgaben zu verbessern.