HyperAIHyperAI

Command Palette

Search for a command to run...

Un biais inductif attentif pour la recommandation séquentielle au-delà de l'attention auto-associative

Yehjin Shin Jeongwhan Choi Hyowon Wi Noseong Park

Résumé

Les modèles de recommandation séquentielle (SR) fondés sur les Transformers ont connu des succès remarquables. Le mécanisme d’attention auto-associative des Transformers, utilisé dans le domaine du traitement d’image et du traitement du langage naturel, souffre d’un problème de sur-lissage (oversmoothing), c’est-à-dire que les représentations cachées tendent à devenir trop similaires aux tokens. Dans le domaine de la SR, nous montrons, pour la première fois, que ce même phénomène se produit. Nous présentons des études pionnières qui révèlent la nature de filtre passe-bas de l’attention auto-associative dans le cadre de la SR, phénomène à l’origine du sur-lissage. À cet effet, nous proposons une méthode originale appelée Beyond Self-Attention pour la Recommandation Séquentielle (BSARec), qui exploite la transformation de Fourier afin de : i) introduire un biais inductif en tenant compte de motifs séquentiels à très fine échelle, et ii) intégrer à la fois des informations à basse et à haute fréquence afin de réduire le sur-lissage. Notre découverte marque une avancée significative dans le domaine de la SR et devrait permettre de combler le fossé existant entre les modèles actuels basés sur les Transformers. Nous avons évalué notre approche à l’aide d’expériences étendues sur 6 jeux de données standards. Les résultats expérimentaux démontrent que notre modèle surpasse 7 méthodes de référence en matière de performance de recommandation. Le code source est disponible à l’adresse suivante : https://github.com/yehjin-shin/BSARec.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp