HyperAIHyperAI

Command Palette

Search for a command to run...

Free Lunch für domain-antagonistisches Training: Umgebungssmoothing der Etiketten

YiFan Zhang Xue Wang Jian Liang Zhang Zhang Liang Wang Rong Jin Tieniu Tan

Zusammenfassung

Ein grundlegendes Problem für maschinelle Lernmodelle besteht darin, verallgemeinerte Modelle für Daten außerhalb der Trainingsverteilung (out-of-distribution, OOD) zu erlernen. Unter verschiedenen Ansätzen erhielt die Nutzung invarianten Merkmale mittels domain-adversariellen Trainings (Domain Adversarial Training, DAT) weite Aufmerksamkeit. Trotz ihres Erfolgs beobachten wir jedoch eine Instabilität beim Training mit DAT, die hauptsächlich auf eine übermäßige Sicherheit des Domain-Diskriminators und auf Rauschen in den Umweltlabels zurückzuführen ist. Um dieses Problem anzugehen, schlagen wir Environment Label Smoothing (ELS) vor, das den Diskriminator dazu anregt, weiche Wahrscheinlichkeiten auszugeben. Dadurch wird die Zuversicht des Diskriminators verringert und die Auswirkung von verrauschten Umweltlabels gemildert. Wir zeigen experimentell und theoretisch, dass ELS die Trainingssicherheit, die lokale Konvergenz sowie die Robustheit gegenüber verrauschten Umweltlabels verbessert. Durch die Kombination von ELS mit DAT-Verfahren erreichen wir state-of-the-art-Ergebnisse bei einer Vielzahl von Aufgaben zur Domänenverallgemeinerung und -anpassung, insbesondere dann, wenn die Umweltlabels stark verrauscht sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp