Lernen der Optimierung domänenspezifischer Normalisierung für Domänenverallgemeinerung

Wir schlagen eine einfache, aber effektive Mehrgquellen-Domänen-Verallgemeinerungstechnik vor, die auf tiefen neuronalen Netzen basiert und optimierte Normalisierungsschichten einsetzt, die für einzelne Domänen spezifisch sind. Unser Ansatz verwendet mehrere Normalisierungsmethoden und lernt dabei separate affine Parameter pro Domäne. Für jede Domäne werden die Aktivierungen durch ein gewichtetes Mittel der Normalisierungsstatistiken mehrerer Methoden normiert. Die Normalisierungsstatistiken werden bei Bedarf separat für jeden Normalisierungstyp verfolgt. Insbesondere setzen wir in unserer Implementierung Batch- und Instanznormalisierung ein, um die beste Kombination dieser beiden Methoden in jeder Domäne zu identifizieren. Die optimierten Normalisierungsschichten sind effektiv, um die Verallgemeinerungsfähigkeit des gelernten Modells zu verbessern. Wir zeigen die Stand-der-Technik-Genauigkeit unseres Algorithmus in den Standard-Benchmarks für Domänenverallgemeinerung sowie seine Eignung für weitere Aufgaben wie Mehrgquellen-Domänenanpassung und Domänenverallgemeinerung bei Vorhandensein von Etikett-Rauschen (label noise).