Quantification Générative à Faible Largeur de Bit sans Données Originales

La quantification des réseaux de neurones est une méthode efficace pour compresser les modèles profonds et améliorer leur latence d'exécution et leur efficacité énergétique, afin qu'ils puissent être déployés sur des appareils mobiles ou embarqués. Les méthodes de quantification existantes nécessitent des données originales pour la calibration ou le fine-tuning afin d'obtenir de meilleures performances. Cependant, dans de nombreux scénarios du monde réel, les données peuvent ne pas être disponibles en raison de problèmes de confidentialité ou de protection de la vie privée, ce qui rend ces méthodes de quantification inapplicables. De plus, l'absence de données originales empêche l'utilisation des réseaux génératifs adverses (GANs) récemment développés pour générer des données. Bien que le modèle à précision complète puisse contenir des informations de données riches, ces informations seules sont difficiles à exploiter pour récupérer les données originales ou générer de nouvelles données significatives.Dans cet article, nous examinons une méthode simple mais efficace appelée Quantification sans Données à Faible Précision Générative (GDFQ) pour supprimer la dépendance aux données. Plus précisément, nous proposons un générateur d'appariement de connaissances capable de produire des données factices significatives en exploitant les connaissances sur les frontières de classification et les informations sur la distribution présentes dans le modèle pré-entraîné. Avec l'aide des données générées, nous pouvons quantifier un modèle en apprenant les connaissances du modèle pré-entraîné. Des expériences approfondies menées sur trois ensembles de données démontrent l'efficacité de notre méthode. Plus critique encore, notre méthode atteint une précision beaucoup plus élevée lors de la quantification à 4 bits par rapport aux méthodes existantes sans données. Le code source est disponible à l'adresse suivante : https://github.com/xushoukai/GDFQ.