Mémoire associative auto-attentionnée

Jusqu’à présent, les réseaux de neurones dotés de mémoire externe étaient limités à une seule mémoire, offrant des représentations bruitées des interactions entre éléments de mémoire. Une représentation riche des relations entre les éléments mémoire exige une mémoire relationnelle de haut ordre et ségrégée. Dans cet article, nous proposons de séparer le stockage des expériences individuelles (mémoire d’éléments) et celui de leurs relations d’occurrence (mémoire relationnelle). Cette idée est mise en œuvre à travers un nouvel opérateur, le mémoire associative auto-attentive (SAM). Fondé sur le produit externe, SAM génère un ensemble de mémoires associatives représentant des relations hypothétiques de haut ordre entre des paires arbitraires d’éléments mémoire, permettant ainsi de construire une mémoire relationnelle à partir d’une mémoire d’éléments. Ces deux mémoires sont intégrées dans un seul modèle séquentiel capable à la fois de mémorisation et de raisonnement relationnel. Nous obtenons des résultats compétitifs avec notre modèle à deux mémoires sur une diversité de tâches d’apprentissage automatique, allant de problèmes synthétiques exigeants à des bancs d’essai pratiques tels que la géométrie, les graphes, l’apprentissage par renforcement et la réponse aux questions.