Réseaux de Neurones Convolutifs Très Profonds Compressés pour la Classification de Texte

La plupart des recherches sur les réseaux de neurones convolutifs se sont concentrées sur l'augmentation de la profondeur du réseau pour améliorer la précision, ce qui a entraîné un nombre massif de paramètres limitant l'utilisation des réseaux formés à des plateformes ayant des contraintes en mémoire et en traitement. Nous proposons de modifier la structure du modèle de Réseaux de Neurones Convolutifs Très Profonds (VDCNN) afin qu'il s'adapte aux contraintes des plateformes mobiles tout en conservant ses performances. Dans cet article, nous évaluons l'impact des Convolutions Séparables Profondes Temporelles et du Pooling Moyen Global sur les paramètres du réseau, la taille de stockage et la latence. Le modèle compressé (SVDCNN) est entre 10 et 20 fois plus petit, selon la profondeur du réseau, avec une taille maximale de 6 Mo. En ce qui concerne la précision, le réseau subit une perte comprise entre 0,4 % et 1,3 % et présente des latences inférieures par rapport au modèle de base.