HyperAIHyperAI

Command Palette

Search for a command to run...

Quantification Générative à Faible Largeur de Bit sans Données Originales

Shoukai Xu Haokun Li Bohan Zhuang Jing Liu Jiezhang Cao Chuangrun Liang Mingkui Tan

Résumé

La quantification des réseaux de neurones est une méthode efficace pour compresser les modèles profonds et améliorer leur latence d'exécution et leur efficacité énergétique, afin qu'ils puissent être déployés sur des appareils mobiles ou embarqués. Les méthodes de quantification existantes nécessitent des données originales pour la calibration ou le fine-tuning afin d'obtenir de meilleures performances. Cependant, dans de nombreux scénarios du monde réel, les données peuvent ne pas être disponibles en raison de problèmes de confidentialité ou de protection de la vie privée, ce qui rend ces méthodes de quantification inapplicables. De plus, l'absence de données originales empêche l'utilisation des réseaux génératifs adverses (GANs) récemment développés pour générer des données. Bien que le modèle à précision complète puisse contenir des informations de données riches, ces informations seules sont difficiles à exploiter pour récupérer les données originales ou générer de nouvelles données significatives.Dans cet article, nous examinons une méthode simple mais efficace appelée Quantification sans Données à Faible Précision Générative (GDFQ) pour supprimer la dépendance aux données. Plus précisément, nous proposons un générateur d'appariement de connaissances capable de produire des données factices significatives en exploitant les connaissances sur les frontières de classification et les informations sur la distribution présentes dans le modèle pré-entraîné. Avec l'aide des données générées, nous pouvons quantifier un modèle en apprenant les connaissances du modèle pré-entraîné. Des expériences approfondies menées sur trois ensembles de données démontrent l'efficacité de notre méthode. Plus critique encore, notre méthode atteint une précision beaucoup plus élevée lors de la quantification à 4 bits par rapport aux méthodes existantes sans données. Le code source est disponible à l'adresse suivante : https://github.com/xushoukai/GDFQ.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp