HyperAIHyperAI

Command Palette

Search for a command to run...

Les gradients Straight-Through et le seuillage doux suffisent-ils vraiment pour l’entraînement parcimonieux ?

Antoine Vanderschueren Christophe De Vleeschouwer

Résumé

Mettre les poids à zéro pendant l'entraînement d'un réseau de neurones permet de réduire la complexité computationnelle lors de l'inférence. Pour augmenter progressivement le taux de sparsité dans le réseau sans provoquer de discontinuités brutales sur les poids durant l'entraînement, notre méthode combine le seuillage doux (soft-thresholding) et une estimation de gradient par voie directe (straight-through) afin de mettre à jour la version brute, c’est-à-dire non seuillée, des poids mis à zéro. Notre approche, nommée ST-3 pour straight-through / soft-thresholding / sparse-training, obtient des résultats de pointe (SoA) tant en termes de compromis précision/sparsité que précision/FLOPS, lorsqu’on augmente progressivement le taux de sparsité en une seule phase d’entraînement. En particulier, malgré sa simplicité, ST-3 se compare favorablement aux méthodes les plus récentes, qui reposent sur des formulations différentiables ou des principes bio-inspirés de neuro-régénération. Cela suggère que les éléments clés pour une élimination efficace des poids résident principalement dans la capacité à permettre aux poids de s’évoluer de manière fluide à travers l’état nul tout en augmentant progressivement la sparsité. Le code source et les poids sont disponibles à l’adresse suivante : https://github.com/vanderschuea/stthree


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp