HyperAIHyperAI

Command Palette

Search for a command to run...

Introduction de l'attention autonome dans les réseaux de neurones graphiques ciblant l'attention

Sai Mitheran Abhinav Java Surya Kant Sahu Arshad Shaikh

Résumé

Les systèmes de recommandation basés sur les sessions suggèrent des éléments pertinents aux utilisateurs en modélisant leur comportement et leurs préférences à partir de courtes sessions anonymes. Les méthodes existantes exploitent les Réseaux de Neurones Graphiques (GNN), qui propagent et agrègent des informations à partir des nœuds voisins, c’est-à-dire par un passage local d’informations. Ces architectures basées sur les graphes présentent des limites d’expressivité, car un sous-graphe unique est sujet à un surapprentissage des dépendances séquentielles au lieu de capturer des transitions complexes entre les éléments dans des sessions différentes. Nous proposons une nouvelle technique qui combine un Transformer avec un GNN attentif ciblé. Cette approche permet d’apprendre des représentations plus riches, se traduisant par des gains empiriques en performance par rapport à un GNN attentif ciblé classique. Nos résultats expérimentaux et les études d’ablation montrent que notre méthode est compétitive par rapport aux approches existantes sur des jeux de données réels, tout en surpassant les hypothèses basées sur les graphes. Le code est disponible à l’adresse suivante : https://github.com/The-Learning-Machines/SBR


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Introduction de l'attention autonome dans les réseaux de neurones graphiques ciblant l'attention | Articles | HyperAI