Entraînement de réseaux quantifiés à plusieurs bits et binarisés avec un quantificateur symétrique apprenable

La quantification des poids et des activations des réseaux de neurones profonds est essentielle pour leur déploiement sur des dispositifs à ressources limitées ou sur des plateformes cloud destinées à des services à grande échelle. Bien que la binarisation soit un cas particulier de quantification, ce cas extrême entraîne souvent de nombreuses difficultés d'entraînement et exige des modèles et des méthodes d'entraînement spécialisés. En conséquence, les méthodes récentes de quantification ne proposent pas de binarisation, perdant ainsi l'option la plus efficace en ressources, et les réseaux quantifiés et binarisés sont devenus des domaines de recherche distincts. Nous analysons les difficultés liées à la binarisation dans un cadre de quantification et constatons que ce dont nous avons besoin pour permettre l'entraînement binaire, c’est un quantificateur symétrique, une bonne initialisation et une sélection soigneuse des hyperparamètres. Ces techniques permettent également d’obtenir des améliorations substantielles dans la quantification à plusieurs bits. Nous démontrons notre cadre unifié de quantification, désigné UniQ, sur le jeu de données ImageNet, avec diverses architectures telles que ResNet-18, ResNet-34 et MobileNetV2. Pour la quantification à plusieurs bits, UniQ dépasse les méthodes existantes pour atteindre une précision de pointe. En binarisation, la précision obtenue est comparable aux meilleures méthodes existantes, même sans modifier les architectures initiales.