HyperAIHyperAI

Command Palette

Search for a command to run...

QT-DoG : Entraînement sensible à la quantification pour la généralisation de domaine

Saqib Javed Hieu Le Mathieu Salzmann

Résumé

La généralisation de domaine (Domain Generalization, DG) vise à entraîner des modèles capables de performer efficacement non seulement sur les distributions de données d'entraînement (domaines sources), mais aussi sur des distributions cibles nouvelles et inconnues. Un défi majeur dans la DG consiste à éviter le surajustement aux domaines sources, ce qui peut être atténué en cherchant des minima plus plats dans la surface de perte. Dans ce travail, nous proposons une méthode appelée Quantization-aware Training for Domain Generalization (QT-DoG), et démontrons que la quantification des poids conduit efficacement à des minima plus plats dans la surface de perte, améliorant ainsi la généralisation de domaine. Contrairement aux méthodes traditionnelles de quantification axées sur la compression du modèle, QT-DoG exploite la quantification comme un régularisateur implicite en introduisant du bruit dans les poids du modèle, guidant ainsi le processus d'optimisation vers des minima plus plats, moins sensibles aux perturbations et au surajustement. Nous fournissons à la fois des arguments théoriques et des preuves empiriques montrant que la quantification favorise intrinsèquement des minima plus plats, conduisant à une meilleure généralisation à travers les domaines. En outre, profitant de la réduction de la taille du modèle apportée par la quantification, nous démontrons qu'un ensemble de plusieurs modèles quantifiés atteint une précision supérieure à celle des approches état-de-l'art en DG, sans surcharge computationnelle ni mémoire. Nos expériences étendues montrent que QT-DoG s'applique efficacement à divers jeux de données, architectures et algorithmes de quantification, et peut être combiné avec d'autres méthodes de DG, établissant ainsi sa polyvalence et sa robustesse.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp