Apprentissage de l'inférence associative à l'aide de la mémoire à poids rapides

Les êtres humains peuvent associer rapidement des stimuli pour résoudre des problèmes dans des contextes nouveaux. Notre modèle de réseau de neurones original apprend des représentations d’état des faits pouvant être combinées afin d’effectuer des inférences associatives. À cette fin, nous enrichissons le modèle LSTM d’une mémoire associative, nommée Mémoire à Poids Rapides (Fast Weight Memory, FWM). Grâce à des opérations différentiables à chaque étape d’une séquence d’entrée donnée, le LSTM met à jour et maintient les associations composées stockées dans les poids de la FWM, qui évoluent rapidement. Notre modèle est entraîné de manière end-to-end par descente de gradient et obtient de très bons résultats sur des problèmes de raisonnement linguistique compositional, l’apprentissage par renforcement méta pour les POMDP, ainsi que sur un modélisation linguistique à l’échelle du mot sur de petits jeux de données.