HyperAIHyperAI

Command Palette

Search for a command to run...

Cross-Domain Ensemble Distillation für Domain Generalization

Kyungmoon Lee Sungyeon Kim Suha Kwak

Zusammenfassung

Domänenverallgemeinerung ist die Aufgabe, Modelle zu erlernen, die auf bisher nicht gesehene Zielbereiche verallgemeinert werden können. Wir schlagen eine einfache, aber effektive Methode für die Domänenverallgemeinerung vor, die als Cross-Domain Ensemble Distillation (XDED) bezeichnet wird. Diese Methode lernt domäneninvariante Merkmale und fördert gleichzeitig das Konvergieren des Modells zu flachen Minima, was sich kürzlich als hinreichende Bedingung für die Domänenverallgemeinerung herausgestellt hat. Dazu generiert unsere Methode ein Ensemble der Ausgabelogits aus Trainingsdaten mit demselben Label, aber aus verschiedenen Bereichen, und bestraft dann jede Ausgabe für die Abweichung vom Ensemble. Darüber hinaus präsentieren wir eine Destylisierungstechnik, die Merkmale standardisiert, um das Modell dazu anzuregen, auch in einem beliebigen Zielbereich stileinheitliche Vorhersagen zu erzeugen. Unsere Methode verbessert die Verallgemeinerungsfähigkeit erheblich in öffentlichen Benchmarks für cross-domänen Bildklassifizierung, cross-datenmengen Person Re-Identification und cross-datenmengen semantische Segmentierung. Zudem zeigen wir, dass durch unsere Methode gelernte Modelle robust gegen feindliche Angriffe und Bildkorruptionen sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Cross-Domain Ensemble Distillation für Domain Generalization | Paper | HyperAI