Command Palette
Search for a command to run...
Apprentissage de la représentation graphique par des réseaux d'attention difficile et canal-par-canal
Apprentissage de la représentation graphique par des réseaux d'attention difficile et canal-par-canal
Hongyang Gao Shuiwang Ji
Résumé
Les opérateurs d'attention ont été largement appliqués dans divers domaines, notamment la vision par ordinateur, le traitement du langage naturel et l'apprentissage de plongements de réseau. Les opérateurs d'attention sur les données de graphe permettent d'attribuer des poids apprenables lors de l'agrégation des informations provenant des nœuds voisins. Cependant, les opérateurs d'attention de graphe (GAO) consomment des ressources computationnelles excessives, ce qui empêche leur utilisation sur de grands graphes. De plus, les GAO font partie de la famille de l'attention douce (soft attention), contrairement à l'attention dure (hard attention), qui a été montrée pour offrir de meilleures performances. Dans cette étude, nous proposons un nouvel opérateur d'attention de graphe dur (hGAO) et un opérateur d'attention de graphe par canal (cGAO). L'hGAO utilise le mécanisme d'attention dur en ne portant attention qu'aux nœuds importants. Par rapport aux GAO, l'hGAO améliore les performances et réduit les coûts computationnels en ne portant attention qu'aux nœuds importants. Pour réduire davantage les exigences en termes de ressources computationnelles, nous proposons le cGAO qui effectue des opérations d'attention le long des canaux. Le cGAO évite la dépendance à la matrice d'adjacence, entraînant une réduction drastique des besoins en ressources computationnelles. Les résultats expérimentaux montrent que nos modèles profonds proposés avec ces nouveaux opérateurs atteignent constamment de meilleures performances. Les résultats comparatifs indiquent également que l'hGAO obtient des performances significativement meilleures que les GAO tant pour les tâches de plongement nodal que pour celles de plongement de graphe. La comparaison d'efficacité montre que notre cGAO entraîne une économie drastique en termes de ressources computationnelles, rendant son utilisation possible sur de grands graphes.