WSNet : Apprentissage de réseaux compacts et efficaces par échantillonnage de poids

Nous présentons une nouvelle approche et une architecture novatrice, appelée WSNet, destinée à apprendre des réseaux de neurones profonds compacts et efficaces. Les approches existantes apprennent traditionnellement les paramètres complets du modèle de manière indépendante, puis les compressent via des traitements ad hoc tels que le retrait de filtres (pruning) ou la factorisation de filtres. En revanche, WSNet propose d’apprendre les paramètres du modèle en échantillonnant à partir d’un ensemble compact de paramètres ajustables, ce qui impose naturellement le partage de paramètres tout au long du processus d’apprentissage. Nous démontrons que cette nouvelle approche d’échantillonnage des poids (et le modèle WSNet qu’elle induit) favorise simultanément le partage de poids et celui des calculs. Grâce à cette méthode, il devient possible d’apprendre des réseaux bien plus petits avec une efficacité accrue, tout en maintenant des performances compétitives par rapport aux réseaux de base disposant d’un nombre équivalent de filtres de convolution. Plus précisément, nous nous concentrons sur l’apprentissage de réseaux de neurones convolutifs 1D compacts et efficaces pour la classification audio. Des expériences étendues sur plusieurs jeux de données de classification audio confirment l’efficacité de WSNet. En combinaison avec une quantification des poids, les modèles obtenus sont jusqu’à 180 fois plus petits et théoriquement jusqu’à 16 fois plus rapides que les modèles de référence bien établis, sans perte notable de performance.