HyperAIHyperAI

Command Palette

Search for a command to run...

Incremental Learning Durch Tiefes Anpassen

Amir Rosenfeld John K. Tsotsos

Zusammenfassung

Gegeben ein bereits trainiertes neuronales Netzwerk, ist es oft wünschenswert, neue Fähigkeiten zu erlernen, ohne die Leistung der bereits gelernten Fähigkeiten zu beeinträchtigen. Bestehende Ansätze lernen entweder suboptimale Lösungen, erfordern gemeinsames Training oder führen zu einem erheblichen Anstieg der Parameterzahl für jede hinzugefügte Domäne, typischerweise so viele wie das ursprüngliche Netzwerk. Wir schlagen eine Methode vor, die als \emph{Deep Adaptation Networks} (DAN) bezeichnet wird und die neu gelernten Filter auf lineare Kombinationen bestehender Filter beschränkt. DANs bewahren die Leistung in der ursprünglichen Domäne genau, benötigen im Vergleich zu standardmäßigen Feinabstimmungsverfahren einen Bruchteil (typischerweise 13%, abhängig von der Netzwerkkonfiguration) der Parameterzahl und konvergieren in weniger Trainingszyklen auf ein vergleichbares oder besseres Leistungslevel. Wenn diese Methode mit standardmäßigen Netzwerkquantifizierungstechniken kombiniert wird, reduzieren wir den Parameterkostenanteil auf etwa 3% des Originals, wobei der Genauigkeitsverlust vernachlässigbar oder gar nicht vorhanden ist. Die gelernte Architektur kann gesteuert werden, um zwischen verschiedenen gelernten Repräsentationen zu wechseln, was es einem einzelnen Netzwerk ermöglicht, Aufgaben aus mehreren unterschiedlichen Domänen zu lösen. Wir führen umfangreiche Experimente durch, die die Effektivität unserer Methode bei einer Reihe von Bildklassifikationsaufgaben zeigen und untersuchen verschiedene Aspekte ihres Verhaltens.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp