HyperAIHyperAI

Command Palette

Search for a command to run...

Tensorisation des réseaux de neurones

Alexander Novikov Dmitry Podoprikhin Anton Osokin Dmitry Vetrov

Résumé

Les réseaux neuronaux profonds (deep neural networks) démontrent actuellement des performances de pointe dans plusieurs domaines. Cependant, les modèles de cette classe sont très exigeants en termes de ressources informatiques. En particulier, une grande quantité de mémoire est nécessaire pour les couches entièrement connectées (fully-connected layers) couramment utilisées, ce qui rend difficile leur utilisation sur des appareils d'entrée de gamme et freine l'augmentation ultérieure de la taille du modèle. Dans cet article, nous convertissons les matrices de poids denses des couches entièrement connectées au format Tensor Train, de manière à réduire le nombre de paramètres par un facteur considérable tout en préservant la puissance expressive de la couche. Plus précisément, pour les réseaux VGG très profonds, nous rapportons un facteur de compression de la matrice de poids dense d'une couche entièrement connectée allant jusqu'à 200 000 fois, entraînant un facteur de compression global du réseau allant jusqu'à 7 fois.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp