HyperAIHyperAI

Command Palette

Search for a command to run...

Comment trouver votre quartier amical : conception d'attention graphique avec auto-supervision

Dongkwan Kim Alice Oh

Résumé

L’attention dans les réseaux neuronaux sur graphes est conçue pour attribuer des poids plus élevés aux nœuds voisins importants, afin d’améliorer la représentation des nœuds. Toutefois, la nature des informations apprises par l’attention graphique reste mal comprise, en particulier dans le cas de graphes bruités. Dans cet article, nous proposons un modèle amélioré d’attention graphique auto-supervisée, appelé SuperGAT, spécifiquement conçu pour les graphes bruités. Plus précisément, nous exploitons deux formes d’attention compatibles avec une tâche auto-supervisée de prédiction d’arêtes, dont la présence ou l’absence contient une information intrinsèque sur l’importance des relations entre les nœuds. En codant les arêtes, SuperGAT apprend une attention plus expressive, capable de mieux distinguer les voisins mal liés. Nous constatons que deux caractéristiques du graphe influencent l’efficacité des formes d’attention et de l’auto-supervision : l’homophilie et le degré moyen. Par conséquent, notre recette fournit une orientation pratique pour choisir la conception d’attention en fonction de ces deux caractéristiques du graphe. Nos expérimentations sur 17 jeux de données réels montrent que notre recette se généralise à 15 d’entre eux, et que les modèles conçus selon cette recette surpassent les modèles de référence en termes de performance.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp