HyperAIHyperAI

Command Palette

Search for a command to run...

Ein genauerer Blick auf die Glätte bei domainspezifischer adversarialer Trainierung

Harsh Rangwani Sumukh K Aithal Mayank Mishra Arihant Jain R. Venkatesh Babu

Zusammenfassung

Domain-adversariales Training ist weit verbreitet, um invarianten Darstellungen zu erzielen, und wird häufig für verschiedene Aufgaben des Domain-Adaptations eingesetzt. In jüngster Zeit haben Methoden, die zu glatten Optima konvergieren, eine verbesserte Generalisierungsfähigkeit bei überwachten Lernaufgaben wie Klassifikation gezeigt. In dieser Arbeit untersuchen wir den Einfluss von Glättungsformulierungen auf das domain-adversarielle Training, dessen Ziel eine Kombination aus Aufgabenverlust (z. B. Klassifikation, Regression usw.) und adversariellen Termen ist. Wir stellen fest, dass die Konvergenz zu einem glatten Minimum bezüglich des Aufgabenverlustes das adversarielle Training stabilisiert und somit eine bessere Leistung auf dem Zielbereich ermöglicht. Im Gegensatz zum Aufgabenverlust führt die Konvergenz zu einem glatten Minimum bezüglich des adversariellen Verlustes hingegen zu einer suboptimalen Generalisierung auf dem Zielbereich. Auf Basis dieser Analyse führen wir das Verfahren des Smooth Domain Adversarial Training (SDAT) ein, das die Leistung bestehender domain-adversarieller Methoden sowohl für Klassifikations- als auch für Objekterkennungsaufgaben effektiv verbessert. Zudem liefert unsere Analyse Einblicke in die weit verbreitete Präferenz von SGD gegenüber Adam innerhalb der Gemeinschaft für domain-adversariales Training.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein genauerer Blick auf die Glätte bei domainspezifischer adversarialer Trainierung | Paper | HyperAI