HyperAIHyperAI

Command Palette

Search for a command to run...

Globale-lokale Regularisierung über verteilungssensible Robustheit

Hoang Phan Trung Le Trung Phung Tuan Anh Bui Nhat Ho Dinh Phung

Zusammenfassung

Trotz überlegener Leistung in vielen Situationen sind tiefe neuronale Netze oft anfällig für adversarische Beispiele und Verteilungsverschiebungen, was die Generalisierungsfähigkeit von Modellen in realen Anwendungen einschränkt. Um diese Probleme zu mildern, nutzen jüngere Ansätze die Optimierung der verteilungsrobusten Leistung (Distributional Robustness Optimization, DRO), um die herausforderndste Verteilung zu identifizieren, und minimieren anschließend die Verlustfunktion über dieser herausforderndsten Verteilung. Trotz einiger Verbesserungen weisen diese DRO-Ansätze jedoch mehrere offensichtliche Einschränkungen auf. Erstens konzentrieren sie sich ausschließlich auf lokale Regularisierung, um die Robustheit des Modells zu stärken, wodurch ein globaler Regularisierungseffekt verloren geht, der in vielen realen Anwendungen nützlich ist (z. B. Domänenanpassung, Domänenverallgemeinerung und adversarische Maschinenlernverfahren). Zweitens operieren die Verlustfunktionen in den bestehenden DRO-Ansätzen ausschließlich auf der herausforderndsten Verteilung, wodurch sie von der ursprünglichen Verteilung entkoppelt werden und somit eine eingeschränkte Modellierungsleistung ergeben. In diesem Artikel stellen wir eine neuartige Regularisierungstechnik vor, die sich an der Wasserstein-basierten DRO-Framework orientiert. Genauer definieren wir eine spezielle gemeinsame Verteilung sowie eine Wasserstein-basierte Unsicherheit, wodurch es uns ermöglicht, die ursprüngliche und die herausforderndste Verteilung zu koppeln, um die Modellierungsleistung zu verbessern und sowohl lokale als auch globale Regularisierungen anzuwenden. Empirische Studien zu verschiedenen Lernproblemen zeigen, dass unser vorgeschlagener Ansatz die bestehenden Regularisierungsansätze in verschiedenen Bereichen erheblich übertrifft: halbüberwachtes Lernen, Domänenanpassung, Domänenverallgemeinerung und adversarische Maschinenlernverfahren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Globale-lokale Regularisierung über verteilungssensible Robustheit | Paper | HyperAI