HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen der Optimierung domänenspezifischer Normalisierung für Domänenverallgemeinerung

Seonguk Seo Yumin Suh Dongwan Kim Geeho Kim Jongwoo Han Bohyung Han

Zusammenfassung

Wir schlagen eine einfache, aber effektive Mehrgquellen-Domänen-Verallgemeinerungstechnik vor, die auf tiefen neuronalen Netzen basiert und optimierte Normalisierungsschichten einsetzt, die für einzelne Domänen spezifisch sind. Unser Ansatz verwendet mehrere Normalisierungsmethoden und lernt dabei separate affine Parameter pro Domäne. Für jede Domäne werden die Aktivierungen durch ein gewichtetes Mittel der Normalisierungsstatistiken mehrerer Methoden normiert. Die Normalisierungsstatistiken werden bei Bedarf separat für jeden Normalisierungstyp verfolgt. Insbesondere setzen wir in unserer Implementierung Batch- und Instanznormalisierung ein, um die beste Kombination dieser beiden Methoden in jeder Domäne zu identifizieren. Die optimierten Normalisierungsschichten sind effektiv, um die Verallgemeinerungsfähigkeit des gelernten Modells zu verbessern. Wir zeigen die Stand-der-Technik-Genauigkeit unseres Algorithmus in den Standard-Benchmarks für Domänenverallgemeinerung sowie seine Eignung für weitere Aufgaben wie Mehrgquellen-Domänenanpassung und Domänenverallgemeinerung bei Vorhandensein von Etikett-Rauschen (label noise).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp