HyperAIHyperAI

Command Palette

Search for a command to run...

Entraînement de réseaux quantifiés à plusieurs bits et binarisés avec un quantificateur symétrique apprenable

Phuoc Pham Jacob Abraham Jaeyong Chung

Résumé

La quantification des poids et des activations des réseaux de neurones profonds est essentielle pour leur déploiement sur des dispositifs à ressources limitées ou sur des plateformes cloud destinées à des services à grande échelle. Bien que la binarisation soit un cas particulier de quantification, ce cas extrême entraîne souvent de nombreuses difficultés d'entraînement et exige des modèles et des méthodes d'entraînement spécialisés. En conséquence, les méthodes récentes de quantification ne proposent pas de binarisation, perdant ainsi l'option la plus efficace en ressources, et les réseaux quantifiés et binarisés sont devenus des domaines de recherche distincts. Nous analysons les difficultés liées à la binarisation dans un cadre de quantification et constatons que ce dont nous avons besoin pour permettre l'entraînement binaire, c’est un quantificateur symétrique, une bonne initialisation et une sélection soigneuse des hyperparamètres. Ces techniques permettent également d’obtenir des améliorations substantielles dans la quantification à plusieurs bits. Nous démontrons notre cadre unifié de quantification, désigné UniQ, sur le jeu de données ImageNet, avec diverses architectures telles que ResNet-18, ResNet-34 et MobileNetV2. Pour la quantification à plusieurs bits, UniQ dépasse les méthodes existantes pour atteindre une précision de pointe. En binarisation, la précision obtenue est comparable aux meilleures méthodes existantes, même sans modifier les architectures initiales.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp