Cross-Domain Ensemble Distillation für Domain Generalization

Domänenverallgemeinerung ist die Aufgabe, Modelle zu erlernen, die auf bisher nicht gesehene Zielbereiche verallgemeinert werden können. Wir schlagen eine einfache, aber effektive Methode für die Domänenverallgemeinerung vor, die als Cross-Domain Ensemble Distillation (XDED) bezeichnet wird. Diese Methode lernt domäneninvariante Merkmale und fördert gleichzeitig das Konvergieren des Modells zu flachen Minima, was sich kürzlich als hinreichende Bedingung für die Domänenverallgemeinerung herausgestellt hat. Dazu generiert unsere Methode ein Ensemble der Ausgabelogits aus Trainingsdaten mit demselben Label, aber aus verschiedenen Bereichen, und bestraft dann jede Ausgabe für die Abweichung vom Ensemble. Darüber hinaus präsentieren wir eine Destylisierungstechnik, die Merkmale standardisiert, um das Modell dazu anzuregen, auch in einem beliebigen Zielbereich stileinheitliche Vorhersagen zu erzeugen. Unsere Methode verbessert die Verallgemeinerungsfähigkeit erheblich in öffentlichen Benchmarks für cross-domänen Bildklassifizierung, cross-datenmengen Person Re-Identification und cross-datenmengen semantische Segmentierung. Zudem zeigen wir, dass durch unsere Methode gelernte Modelle robust gegen feindliche Angriffe und Bildkorruptionen sind.