Free Lunch für domain-antagonistisches Training: Umgebungssmoothing der Etiketten

Ein grundlegendes Problem für maschinelle Lernmodelle besteht darin, verallgemeinerte Modelle für Daten außerhalb der Trainingsverteilung (out-of-distribution, OOD) zu erlernen. Unter verschiedenen Ansätzen erhielt die Nutzung invarianten Merkmale mittels domain-adversariellen Trainings (Domain Adversarial Training, DAT) weite Aufmerksamkeit. Trotz ihres Erfolgs beobachten wir jedoch eine Instabilität beim Training mit DAT, die hauptsächlich auf eine übermäßige Sicherheit des Domain-Diskriminators und auf Rauschen in den Umweltlabels zurückzuführen ist. Um dieses Problem anzugehen, schlagen wir Environment Label Smoothing (ELS) vor, das den Diskriminator dazu anregt, weiche Wahrscheinlichkeiten auszugeben. Dadurch wird die Zuversicht des Diskriminators verringert und die Auswirkung von verrauschten Umweltlabels gemildert. Wir zeigen experimentell und theoretisch, dass ELS die Trainingssicherheit, die lokale Konvergenz sowie die Robustheit gegenüber verrauschten Umweltlabels verbessert. Durch die Kombination von ELS mit DAT-Verfahren erreichen wir state-of-the-art-Ergebnisse bei einer Vielzahl von Aufgaben zur Domänenverallgemeinerung und -anpassung, insbesondere dann, wenn die Umweltlabels stark verrauscht sind.