Globale-lokale Regularisierung über verteilungssensible Robustheit

Trotz überlegener Leistung in vielen Situationen sind tiefe neuronale Netze oft anfällig für adversarische Beispiele und Verteilungsverschiebungen, was die Generalisierungsfähigkeit von Modellen in realen Anwendungen einschränkt. Um diese Probleme zu mildern, nutzen jüngere Ansätze die Optimierung der verteilungsrobusten Leistung (Distributional Robustness Optimization, DRO), um die herausforderndste Verteilung zu identifizieren, und minimieren anschließend die Verlustfunktion über dieser herausforderndsten Verteilung. Trotz einiger Verbesserungen weisen diese DRO-Ansätze jedoch mehrere offensichtliche Einschränkungen auf. Erstens konzentrieren sie sich ausschließlich auf lokale Regularisierung, um die Robustheit des Modells zu stärken, wodurch ein globaler Regularisierungseffekt verloren geht, der in vielen realen Anwendungen nützlich ist (z. B. Domänenanpassung, Domänenverallgemeinerung und adversarische Maschinenlernverfahren). Zweitens operieren die Verlustfunktionen in den bestehenden DRO-Ansätzen ausschließlich auf der herausforderndsten Verteilung, wodurch sie von der ursprünglichen Verteilung entkoppelt werden und somit eine eingeschränkte Modellierungsleistung ergeben. In diesem Artikel stellen wir eine neuartige Regularisierungstechnik vor, die sich an der Wasserstein-basierten DRO-Framework orientiert. Genauer definieren wir eine spezielle gemeinsame Verteilung sowie eine Wasserstein-basierte Unsicherheit, wodurch es uns ermöglicht, die ursprüngliche und die herausforderndste Verteilung zu koppeln, um die Modellierungsleistung zu verbessern und sowohl lokale als auch globale Regularisierungen anzuwenden. Empirische Studien zu verschiedenen Lernproblemen zeigen, dass unser vorgeschlagener Ansatz die bestehenden Regularisierungsansätze in verschiedenen Bereichen erheblich übertrifft: halbüberwachtes Lernen, Domänenanpassung, Domänenverallgemeinerung und adversarische Maschinenlernverfahren.