Incremental Learning Durch Tiefes Anpassen

Gegeben ein bereits trainiertes neuronales Netzwerk, ist es oft wünschenswert, neue Fähigkeiten zu erlernen, ohne die Leistung der bereits gelernten Fähigkeiten zu beeinträchtigen. Bestehende Ansätze lernen entweder suboptimale Lösungen, erfordern gemeinsames Training oder führen zu einem erheblichen Anstieg der Parameterzahl für jede hinzugefügte Domäne, typischerweise so viele wie das ursprüngliche Netzwerk. Wir schlagen eine Methode vor, die als \emph{Deep Adaptation Networks} (DAN) bezeichnet wird und die neu gelernten Filter auf lineare Kombinationen bestehender Filter beschränkt. DANs bewahren die Leistung in der ursprünglichen Domäne genau, benötigen im Vergleich zu standardmäßigen Feinabstimmungsverfahren einen Bruchteil (typischerweise 13\%, abhängig von der Netzwerkkonfiguration) der Parameterzahl und konvergieren in weniger Trainingszyklen auf ein vergleichbares oder besseres Leistungslevel. Wenn diese Methode mit standardmäßigen Netzwerkquantifizierungstechniken kombiniert wird, reduzieren wir den Parameterkostenanteil auf etwa 3\% des Originals, wobei der Genauigkeitsverlust vernachlässigbar oder gar nicht vorhanden ist. Die gelernte Architektur kann gesteuert werden, um zwischen verschiedenen gelernten Repräsentationen zu wechseln, was es einem einzelnen Netzwerk ermöglicht, Aufgaben aus mehreren unterschiedlichen Domänen zu lösen. Wir führen umfangreiche Experimente durch, die die Effektivität unserer Methode bei einer Reihe von Bildklassifikationsaufgaben zeigen und untersuchen verschiedene Aspekte ihres Verhaltens.