Compression des 3DCNNs basée sur la décomposition en tenseur train

Les réseaux de neurones convolutifs tridimensionnels (3DCNNs) ont été appliqués dans de nombreuses tâches, par exemple, la reconnaissance vidéo et des nuages de points 3D. Cependant, en raison de la dimension supérieure des noyaux de convolution, la complexité spatiale des 3DCNNs est généralement plus importante que celle des réseaux de neurones convolutifs bidimensionnels traditionnels (2DCNNs). Pour miniaturiser les 3DCNNs afin de les déployer dans des environnements confinés tels que les dispositifs embarqués, la compression des réseaux de neurones est une approche prometteuse. Dans ce travail, nous utilisons la décomposition en tenseur train (TT), une méthode de compression d'entraînement sur place simple et directe, pour réduire les modèles 3DCNN. En proposant la tensorisation des noyaux convolutifs 3D au format TT, nous examinons comment sélectionner des rangs TT appropriés pour obtenir un taux de compression plus élevé. Nous avons également discuté de la redondance des noyaux convolutifs 3D pour la compression, de l'importance centrale et des orientations futures de ce travail, ainsi que de la complexité computationnelle théorique par rapport au temps d'exécution pratique de la convolution en format TT. À la lumière de multiples expériences comparatives basées sur les jeux de données VIVA challenge, UCF11 et UCF101, nous concluons que la décomposition TT peut compresser les 3DCNNs d'environ cent fois sans perte significative d'exactitude, ce qui permettra son application dans divers scénarios du monde réel.