Recommandation séquentielle auto-attentive

Les dynamiques séquentielles sont une caractéristique clé de nombreux systèmes de recommandation modernes, qui visent à capturer le « contexte » des activités des utilisateurs en se basant sur leurs actions récentes. Pour saisir ces modèles, deux approches ont proliféré : les Chaînes de Markov (CM) et les Réseaux de Neurones Récurents (RNR). Les Chaînes de Markov supposent qu'une action future d'un utilisateur peut être prédite uniquement sur la base de sa dernière action (ou des dernières actions), tandis que les RNR permettent en principe de découvrir des sémantiques à long terme. En général, les méthodes basées sur les CM performent le mieux dans des jeux de données extrêmement clairsemés, où la parcimonie du modèle est cruciale, alors que les RNR donnent de meilleurs résultats dans des jeux de données plus denses, où une complexité de modèle supérieure est supportable. L'objectif de notre travail est d'équilibrer ces deux objectifs en proposant un modèle séquentiel basé sur l'auto-attention (SASRec) qui nous permet de capturer des sémantiques à long terme (comme un RNR), mais qui, grâce au mécanisme d'attention, fait ses prédictions en se basant sur relativement peu d'actions (comme une CM). À chaque pas de temps, SASRec cherche à identifier quels éléments sont « pertinents » dans l'historique des actions d'un utilisateur pour prédire l'élément suivant. Des études empiriques approfondies montrent que notre méthode surpasses divers modèles séquentiels avancés (y compris ceux basés sur les CM/CNN/RNR) tant dans des jeux de données clairsemés que denses. De plus, le modèle est un ordre de grandeur plus efficace que des modèles comparables basés sur les CNN/RNR. Les visualisations des poids d'attention montrent également comment notre modèle gère adaptativement des jeux de données avec différentes densités et découvre des modèles significatifs dans les séquences d'activités.