HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von übertragbaren Merkmalen mit tiefen Anpassungsnetzen

Mingsheng Long†‡ [email protected] Yue Cao† [email protected] Jianmin Wang† [email protected] Michael I. Jordan‡ [email protected]

Zusammenfassung

Neuere Studien zeigen, dass ein tiefes neuronales Netzwerk übertragbare Merkmale lernen kann, die sich gut auf neue Aufgaben für die Domänenanpassung verallgemeinern. Allerdings nimmt die Übertragbarkeit der Merkmale in den höheren Schichten mit zunehmender Domänenabweichung erheblich ab, da tiefgreifende Merkmale schließlich vom Allgemeinen zum Spezifischen übergehen. Daher ist es wichtig, den Datensatzbias formell zu reduzieren und die Übertragbarkeit in aufgabenspezifischen Schichten zu erhöhen. In dieser Arbeit schlagen wir eine neue Architektur des tiefen Anpassungsnetzwerks (Deep Adaptation Network, DAN) vor, die tiefgreifende konvolutorische Neuronennetze auf den Szenario der Domänenanpassung verallgemeinert. Im DAN werden die verborgenen Darstellungen aller aufgabenspezifischen Schichten in einem reproduzierenden Hilbertraum eingebettet, wo die mittleren Einbettungen verschiedener Domänenverteilungen explizit angeglichen werden können. Die Domänenabweichung wird durch eine optimale Mehrukermethode zur Angleichung der mittleren Einbettungen weiter reduziert. DAN kann mit statistischen Garantien übertragbare Merkmale lernen und skaliert linear durch eine unverzerrte Schätzung der Kerneinbettung. Ausführliche empirische Beweise zeigen, dass die vorgeschlagene Architektur auf Standard-Benchmarks für Domänenanpassung zu Stand-der-Technik-Fehlerraten bei der Bildklassifikation führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen von übertragbaren Merkmalen mit tiefen Anpassungsnetzen | Paper | HyperAI