Un biais inductif attentif pour la recommandation séquentielle au-delà de l'attention auto-associative

Les modèles de recommandation séquentielle (SR) fondés sur les Transformers ont connu des succès remarquables. Le mécanisme d’attention auto-associative des Transformers, utilisé dans le domaine du traitement d’image et du traitement du langage naturel, souffre d’un problème de sur-lissage (oversmoothing), c’est-à-dire que les représentations cachées tendent à devenir trop similaires aux tokens. Dans le domaine de la SR, nous montrons, pour la première fois, que ce même phénomène se produit. Nous présentons des études pionnières qui révèlent la nature de filtre passe-bas de l’attention auto-associative dans le cadre de la SR, phénomène à l’origine du sur-lissage. À cet effet, nous proposons une méthode originale appelée Beyond Self-Attention pour la Recommandation Séquentielle (BSARec), qui exploite la transformation de Fourier afin de : i) introduire un biais inductif en tenant compte de motifs séquentiels à très fine échelle, et ii) intégrer à la fois des informations à basse et à haute fréquence afin de réduire le sur-lissage. Notre découverte marque une avancée significative dans le domaine de la SR et devrait permettre de combler le fossé existant entre les modèles actuels basés sur les Transformers. Nous avons évalué notre approche à l’aide d’expériences étendues sur 6 jeux de données standards. Les résultats expérimentaux démontrent que notre modèle surpasse 7 méthodes de référence en matière de performance de recommandation. Le code source est disponible à l’adresse suivante : https://github.com/yehjin-shin/BSARec.