Introduction de l'attention autonome dans les réseaux de neurones graphiques ciblant l'attention

Les systèmes de recommandation basés sur les sessions suggèrent des éléments pertinents aux utilisateurs en modélisant leur comportement et leurs préférences à partir de courtes sessions anonymes. Les méthodes existantes exploitent les Réseaux de Neurones Graphiques (GNN), qui propagent et agrègent des informations à partir des nœuds voisins, c’est-à-dire par un passage local d’informations. Ces architectures basées sur les graphes présentent des limites d’expressivité, car un sous-graphe unique est sujet à un surapprentissage des dépendances séquentielles au lieu de capturer des transitions complexes entre les éléments dans des sessions différentes. Nous proposons une nouvelle technique qui combine un Transformer avec un GNN attentif ciblé. Cette approche permet d’apprendre des représentations plus riches, se traduisant par des gains empiriques en performance par rapport à un GNN attentif ciblé classique. Nos résultats expérimentaux et les études d’ablation montrent que notre méthode est compétitive par rapport aux approches existantes sur des jeux de données réels, tout en surpassant les hypothèses basées sur les graphes. Le code est disponible à l’adresse suivante : https://github.com/The-Learning-Machines/SBR