HyperAIHyperAI

Command Palette

Search for a command to run...

Quantification Adversariale à Zéro Tirage

Yuang Liu Wei Zhang* Jun Wang*

Résumé

La quantification de modèles est une approche prometteuse pour compresser les réseaux neuronaux profonds et accélérer l'inférence, rendant ainsi leur déploiement sur des appareils mobiles et aux bords du réseau possible. Pour maintenir les hautes performances des modèles à précision complète, la plupart des méthodes de quantification actuelles se concentrent sur le réglage fin des modèles quantifiés en supposant que les ensembles de données d'entraînement sont accessibles. Cependant, cette hypothèse n'est parfois pas satisfaite dans les situations réelles en raison de problèmes de confidentialité et de sécurité des données, ce qui rend ces méthodes de quantification inapplicables. Afin d'atteindre une quantification de modèle zéro-shot sans accès aux données d'entraînement, un petit nombre de méthodes de quantification adoptent soit la quantification post-entraînement, soit la génération de données guidée par les statistiques de normalisation par lots pour le réglage fin. Cependant, ces deux approches souffrent inévitablement d'une faible performance : la première est un peu trop empirique et manque de support d'entraînement pour la quantification à très basse précision ; la seconde ne peut pas pleinement restituer les particularités des données originales et est souvent inefficace pour générer des données diverses.Pour résoudre ces problèmes, nous proposons un cadre de quantification adversariale zéro-shot (ZAQ), facilitant une estimation efficace des écarts et un transfert de connaissances d'un modèle à précision complète vers son modèle quantifié. Ceci est réalisé grâce à un nouveau modèle d'écart à deux niveaux qui pousse un générateur à synthétiser des exemples de données informatifs et diversifiés afin d'optimiser le modèle quantifié dans une approche d'apprentissage adversarial. Nous menons des expériences exhaustives sur trois tâches fondamentales en vision par ordinateur, démontrant la supériorité du ZAQ par rapport aux lignes de base zéro-shot robustes et validant l'efficacité de ses composants principaux. Le code source est disponible à l'adresse https://git.io/Jqc0y.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp