HyperAIHyperAI

Command Palette

Search for a command to run...

Qimera : Quantification sans données avec des échantillons de frontière synthétique

Kanghyun Choi Deokki Hong Noseong Park Youngsok Kim Jinho Lee

Résumé

La quantification de modèles est reconnue comme une méthode prometteuse pour comprimer les réseaux neuronaux profonds, en particulier pour les inférences sur des appareils mobiles ou périphériques légers. Cependant, la quantification de modèles nécessite généralement l'accès aux données d'entraînement originales pour maintenir la précision des modèles à précision complète, ce qui est souvent impossible dans les scénarios réels en raison de problèmes de sécurité et de confidentialité. Une approche populaire pour effectuer la quantification sans accès aux données originales consiste à utiliser des échantillons générés synthétiquement, basés sur les statistiques de normalisation par lots ou l'apprentissage adversarial. Cependant, le principal inconvénient de ces approches est qu'elles s'appuient principalement sur un bruit aléatoire en entrée du générateur pour obtenir une diversité des échantillons synthétiques. Nous constatons que cela est souvent insuffisant pour capturer la distribution des données originales, en particulier autour des frontières de décision.Pour remédier à cette situation, nous proposons Qimera, une méthode qui utilise des plongements latents superposés pour générer des échantillons synthétiques supportant les frontières. Pour que les plongements latents superposés reflètent mieux la distribution originale, nous proposons également d'utiliser une couche supplémentaire de mappage désentrelacé et d'extraire des informations du modèle à précision complète. Les résultats expérimentaux montrent que Qimera atteint des performances de pointe dans diverses configurations pour la quantification sans données.Le code source est disponible à l'adresse suivante : https://github.com/iamkanghyunchoi/qimera.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp