HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de neurones graphiques avec des représentations structurelles et positionnelles apprenables

Vijay Prakash Dwivedi Anh Tuan Luu Thomas Laurent Yoshua Bengio Xavier Bresson

Résumé

Les réseaux de neurones graphes (GNN) sont devenus les architectures d'apprentissage standard pour les graphes. Ils ont été appliqués à de nombreux domaines, allant de la chimie quantique aux systèmes de recommandation, en passant par les graphes de connaissances et le traitement du langage naturel. Un problème majeur lié aux graphes arbitraires réside dans l’absence d’information positionnelle canonique des nœuds, ce qui limite la capacité des GNN à distinguer, par exemple, des nœuds isomorphes ou d’autres symétries du graphe. Une approche pour atténuer ce problème consiste à introduire une Encodage Positionnel (PE) des nœuds, qu’on injecte ensuite dans la couche d’entrée, comme dans les Transformers. Parmi les possibles encodages positionnels pour les graphes, on trouve les vecteurs propres de la matrice laplacienne. Dans ce travail, nous proposons de décomposer les représentations structurelles et positionnelles afin de faciliter l’apprentissage par le réseau de ces deux propriétés essentielles. Nous introduisons une nouvelle architecture générique que nous appelons LSPE (Learnable Structural and Positional Encodings). Nous étudions plusieurs GNNs à faible densité et des GNNs entièrement connectés (du type Transformers), et observons une amélioration des performances sur des jeux de données moléculaires, allant de 1,79 % à 64,14 %, lorsque l’on utilise des encodages positionnels apprenables pour les deux catégories de GNN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp