HyperAIHyperAI
il y a 15 jours

Gating par gradient pour l'apprentissage profond multi-taux sur les graphes

T. Konstantin Rusch, Benjamin P. Chamberlain, Michael W. Mahoney, Michael M. Bronstein, Siddhartha Mishra
Gating par gradient pour l'apprentissage profond multi-taux sur les graphes
Résumé

Nous présentons Gradient Gating (G$^2$), un cadre novateur visant à améliorer les performances des réseaux de neurones sur graphe (GNN). Ce cadre repose sur un mécanisme de seuillage de la sortie des couches GNN, permettant un flux multi-taux d'informations d'échange (message passing) entre les nœuds du graphe sous-jacent. Les gradients locaux sont exploités pour moduler davantage les mises à jour d'échange d'informations. Le cadre G$^2$ permet de manière flexible d'utiliser n'importe quelle couche GNN de base comme enveloppe autour de laquelle est construit le mécanisme de seuillage par gradients multi-taux. Nous prouvons rigoureusement que G$^2$ atténue le problème de sur-lissage (oversmoothing) et permet la conception de GNN profonds. Des résultats expérimentaux sont fournis pour démontrer que le cadre proposé atteint des performances de pointe sur diverses tâches d'apprentissage sur graphe, y compris sur des graphes hétérophiles à grande échelle.

Gating par gradient pour l'apprentissage profond multi-taux sur les graphes | Articles de recherche récents | HyperAI