Command Palette
Search for a command to run...
Gating par gradient pour l'apprentissage profond multi-taux sur les graphes
Gating par gradient pour l'apprentissage profond multi-taux sur les graphes
T. Konstantin Rusch Benjamin P. Chamberlain Michael W. Mahoney Michael M. Bronstein Siddhartha Mishra
Résumé
Nous présentons Gradient Gating (G2), un cadre novateur visant à améliorer les performances des réseaux de neurones sur graphe (GNN). Ce cadre repose sur un mécanisme de seuillage de la sortie des couches GNN, permettant un flux multi-taux d'informations d'échange (message passing) entre les nœuds du graphe sous-jacent. Les gradients locaux sont exploités pour moduler davantage les mises à jour d'échange d'informations. Le cadre G2 permet de manière flexible d'utiliser n'importe quelle couche GNN de base comme enveloppe autour de laquelle est construit le mécanisme de seuillage par gradients multi-taux. Nous prouvons rigoureusement que G2 atténue le problème de sur-lissage (oversmoothing) et permet la conception de GNN profonds. Des résultats expérimentaux sont fournis pour démontrer que le cadre proposé atteint des performances de pointe sur diverses tâches d'apprentissage sur graphe, y compris sur des graphes hétérophiles à grande échelle.