Activité éparses et connectivité éparses dans l'apprentissage supervisé

La parcimonie est un régulateur utile pour l'apprentissage dans une large gamme d'applications, en particulier dans les réseaux de neurones. Cet article propose un modèle destiné aux tâches de classification, où des activités et des connectivités parcimonieuses sont utilisées pour améliorer les capacités de classification. L'outil permettant d'atteindre cet objectif est un opérateur de projection imposant la parcimonie, qui trouve le vecteur le plus proche avec une parcimonie prédéfinie pour tout vecteur donné. Dans la partie théorique de cet article, une théorie complète de ce type de projection est développée. En conclusion, il est démontré que cette projection est différentiable presque partout et peut donc être mise en œuvre comme une fonction de transfert neuronale lisse. Le modèle entier peut ainsi être ajusté bout à bout à l'aide de méthodes basées sur les gradients. Des expériences menées sur la base de données MNIST de chiffres manuscrits montrent que les performances de classification peuvent être améliorées par une activité ou une connectivité parcimonieuse. Avec une combinaison des deux, les performances peuvent être significativement meilleures comparées aux approches classiques non-parcimonieuses.