Command Palette
Search for a command to run...
Lernen ohne Vergessen
Lernen ohne Vergessen
Li Zhizhong Hoiem Derek
Zusammenfassung
Beim Aufbau eines einheitlichen Visionssystems oder bei der schrittweisen Erweiterung einer bestehenden Systemfunktion wird üblicherweise davon ausgegangen, dass für alle Aufgaben jeweils stets der gesamte Trainingsdatensatz verfügbar ist. Sobald sich jedoch die Anzahl der Aufgaben erhöht, wird das Speichern und erneute Training auf solchen Daten jedoch zunehmend unpraktikabel. Es ergibt sich ein neues Problem: Wir möchten einer Convolutional Neural Network (CNN) neue Fähigkeiten hinzufügen, während die Trainingsdaten für ihre bereits vorhandenen Fähigkeiten nicht mehr zugänglich sind. Wir stellen unsere Methode „Learning without Forgetting“ vor, die es ermöglicht, das Netzwerk ausschließlich mit Daten der neuen Aufgabe zu trainieren, ohne die ursprünglichen Fähigkeiten zu verlieren. Im Vergleich zu üblichen Techniken wie Feature-Extraktion und Fine-Tuning zeigt unsere Methode eine überlegene Leistung und erreicht ähnliche Ergebnisse wie das Multitask-Lernen, das jedoch auf den ursprünglichen Aufgabendaten basiert – Daten, die wir in der vorliegenden Situation als nicht verfügbar annehmen. Ein überraschenderer Befund ist, dass „Learning without Forgetting“ möglicherweise das Fine-Tuning ersetzen kann, wenn sowohl alte als auch neue Aufgabendaten vergleichbar sind, und dabei eine verbesserte Leistung für die neue Aufgabe erzielt.