HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de la représentation graphique par des réseaux d'attention difficile et canal-par-canal

Hongyang Gao Shuiwang Ji

Résumé

Les opérateurs d'attention ont été largement appliqués dans divers domaines, notamment la vision par ordinateur, le traitement du langage naturel et l'apprentissage de plongements de réseau. Les opérateurs d'attention sur les données de graphe permettent d'attribuer des poids apprenables lors de l'agrégation des informations provenant des nœuds voisins. Cependant, les opérateurs d'attention de graphe (GAO) consomment des ressources computationnelles excessives, ce qui empêche leur utilisation sur de grands graphes. De plus, les GAO font partie de la famille de l'attention douce (soft attention), contrairement à l'attention dure (hard attention), qui a été montrée pour offrir de meilleures performances. Dans cette étude, nous proposons un nouvel opérateur d'attention de graphe dur (hGAO) et un opérateur d'attention de graphe par canal (cGAO). L'hGAO utilise le mécanisme d'attention dur en ne portant attention qu'aux nœuds importants. Par rapport aux GAO, l'hGAO améliore les performances et réduit les coûts computationnels en ne portant attention qu'aux nœuds importants. Pour réduire davantage les exigences en termes de ressources computationnelles, nous proposons le cGAO qui effectue des opérations d'attention le long des canaux. Le cGAO évite la dépendance à la matrice d'adjacence, entraînant une réduction drastique des besoins en ressources computationnelles. Les résultats expérimentaux montrent que nos modèles profonds proposés avec ces nouveaux opérateurs atteignent constamment de meilleures performances. Les résultats comparatifs indiquent également que l'hGAO obtient des performances significativement meilleures que les GAO tant pour les tâches de plongement nodal que pour celles de plongement de graphe. La comparaison d'efficacité montre que notre cGAO entraîne une économie drastique en termes de ressources computationnelles, rendant son utilisation possible sur de grands graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de la représentation graphique par des réseaux d'attention difficile et canal-par-canal | Articles | HyperAI