QT-DoG : Entraînement sensible à la quantification pour la généralisation de domaine

La généralisation de domaine (Domain Generalization, DG) vise à entraîner des modèles capables de performer efficacement non seulement sur les distributions de données d'entraînement (domaines sources), mais aussi sur des distributions cibles nouvelles et inconnues. Un défi majeur dans la DG consiste à éviter le surajustement aux domaines sources, ce qui peut être atténué en cherchant des minima plus plats dans la surface de perte. Dans ce travail, nous proposons une méthode appelée Quantization-aware Training for Domain Generalization (QT-DoG), et démontrons que la quantification des poids conduit efficacement à des minima plus plats dans la surface de perte, améliorant ainsi la généralisation de domaine. Contrairement aux méthodes traditionnelles de quantification axées sur la compression du modèle, QT-DoG exploite la quantification comme un régularisateur implicite en introduisant du bruit dans les poids du modèle, guidant ainsi le processus d'optimisation vers des minima plus plats, moins sensibles aux perturbations et au surajustement. Nous fournissons à la fois des arguments théoriques et des preuves empiriques montrant que la quantification favorise intrinsèquement des minima plus plats, conduisant à une meilleure généralisation à travers les domaines. En outre, profitant de la réduction de la taille du modèle apportée par la quantification, nous démontrons qu'un ensemble de plusieurs modèles quantifiés atteint une précision supérieure à celle des approches état-de-l'art en DG, sans surcharge computationnelle ni mémoire. Nos expériences étendues montrent que QT-DoG s'applique efficacement à divers jeux de données, architectures et algorithmes de quantification, et peut être combiné avec d'autres méthodes de DG, établissant ainsi sa polyvalence et sa robustesse.