Tensorisation des réseaux de neurones

Les réseaux neuronaux profonds (deep neural networks) démontrent actuellement des performances de pointe dans plusieurs domaines. Cependant, les modèles de cette classe sont très exigeants en termes de ressources informatiques. En particulier, une grande quantité de mémoire est nécessaire pour les couches entièrement connectées (fully-connected layers) couramment utilisées, ce qui rend difficile leur utilisation sur des appareils d'entrée de gamme et freine l'augmentation ultérieure de la taille du modèle. Dans cet article, nous convertissons les matrices de poids denses des couches entièrement connectées au format Tensor Train, de manière à réduire le nombre de paramètres par un facteur considérable tout en préservant la puissance expressive de la couche. Plus précisément, pour les réseaux VGG très profonds, nous rapportons un facteur de compression de la matrice de poids dense d'une couche entièrement connectée allant jusqu'à 200 000 fois, entraînant un facteur de compression global du réseau allant jusqu'à 7 fois.