HyperAIHyperAI

Command Palette

Search for a command to run...

QT-DoG: Quantization-aware Training für Domain Generalization

Saqib Javed Hieu Le Mathieu Salzmann

Zusammenfassung

Domain Generalization (DG) zielt darauf ab, Modelle zu trainieren, die nicht nur auf den trainierenden (Quell-)Domänen, sondern auch auf neuartige, bisher nicht gesehene Zielverteilungen gut performen. Eine zentrale Herausforderung bei DG besteht darin, eine Überanpassung an die Quell-Domänen zu vermeiden, was durch die Suche nach flacheren Minima im Verlustgefüge effektiv gemildert werden kann. In dieser Arbeit präsentieren wir Quantization-aware Training für Domain Generalization (QT-DoG) und zeigen, dass Gewichtsquantisierung effektiv zu flacheren Minima im Verlustgefüge führt, was die Fähigkeit zur Domain Generalization verbessert. Im Gegensatz zu herkömmlichen Quantisierungsansätzen, die primär auf Modellkompression abzielen, nutzt QT-DoG die Quantisierung als impliziten Regularisierer, indem sie Rauschen in die Modellgewichte einbringt und somit den Optimierungsprozess in Richtung flacherer Minima lenkt, die weniger empfindlich gegenüber Störungen und Überanpassung sind. Wir liefern sowohl theoretische Erkenntnisse als auch empirische Beweise dafür, dass Quantisierung inhärent dazu neigt, flachere Minima zu fördern, was eine bessere Generalisierung über Domänen hinweg ermöglicht. Darüber hinaus zeigt sich, dass durch die Reduktion der Modellgröße mittels Quantisierung ein Ensemble mehrerer quantisierter Modelle gegenüber den aktuellen State-of-the-Art-Verfahren für DG eine überlegene Genauigkeit erzielt, ohne zusätzlichen Rechenaufwand oder Speicherbedarf zu verursachen. Unsere umfangreichen Experimente belegen, dass QT-DoG sich auf verschiedene Datensätze, Architekturen und Quantisierungsverfahren übertragen lässt und mit anderen DG-Methoden kombiniert werden kann, was seine Vielseitigkeit und Robustheit unterstreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
QT-DoG: Quantization-aware Training für Domain Generalization | Paper | HyperAI