Matrices de poids synaptiques à noyau

Dans cet article, nous introduisons une nouvelle architecture de réseau de neurones, dans laquelle les matrices de poids sont réparamétrées en termes de vecteurs de faible dimension, interagissant via des fonctions noyau. Une couche de notre réseau peut être interprétée comme l’introduction d’une couche linéaire (potentiellement infiniment large) entre l’entrée et la sortie. Nous exposons la théorie sous-jacente à ce modèle et le validons à l’aide d’exemples concrets, en explorant comment il peut être utilisé pour imposer une structure aux réseaux de neurones dans diverses applications, allant de la visualisation de données aux systèmes de recommandation. Nous atteignons des performances de pointe dans une tâche de filtrage collaboratif (MovieLens).