HyperAIHyperAI

Command Palette

Search for a command to run...

hpGAT : Réseau d'attention sur graphe informé de la proximité d'ordre supérieur

Pin-Yu Chen Zhining Liu Chengyun Song Weiyi Liu Chenyi Zhuang

Résumé

Les réseaux de neurones graphes (GNNs) ont récemment réalisé des avancées remarquables dans le cadre de l’apprentissage sur des données structurées en graphe. Toutefois, la plupart des GNNs existants limitent le champ réceptif de chaque nœud, à chaque couche, à ses voisins immédiats (à un saut), ce qui ignore le fait que, dans les réseaux neuronaux d’avant-garde, un champ réceptif étendu s’est avéré être un facteur critique. Dans cet article, nous proposons une nouvelle approche permettant de définir de manière adaptée un champ réceptif variable pour les GNNs, en intégrant des informations de proximité d’ordre supérieur extraites de la structure topologique hiérarchique du graphe d’entrée. Plus précisément, des groupes multiscales obtenus par factorisation matricielle semi-nonnégative hiérarchique entraînable sont utilisés pour ajuster les poids lors de l’agrégation des voisins à un saut. Intégré au mécanisme d’attention graphique appliqué aux attributs des nœuds voisins, le processus d’agrégation, doté de paramètres apprenables, est optimisé de manière end-to-end. Des expériences étendues montrent que la méthode proposée (hpGAT) surpasse les approches de pointe et met en évidence l’importance de tirer parti de la proximité d’ordre supérieur pour traiter efficacement les informations bruitées au sein du voisinage local.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp