HyperAIHyperAI

Command Palette

Search for a command to run...

Gating par gradient pour l'apprentissage profond multi-taux sur les graphes

T. Konstantin Rusch Benjamin P. Chamberlain Michael W. Mahoney Michael M. Bronstein Siddhartha Mishra

Résumé

Nous présentons Gradient Gating (G2^22), un cadre novateur visant à améliorer les performances des réseaux de neurones sur graphe (GNN). Ce cadre repose sur un mécanisme de seuillage de la sortie des couches GNN, permettant un flux multi-taux d'informations d'échange (message passing) entre les nœuds du graphe sous-jacent. Les gradients locaux sont exploités pour moduler davantage les mises à jour d'échange d'informations. Le cadre G2^22 permet de manière flexible d'utiliser n'importe quelle couche GNN de base comme enveloppe autour de laquelle est construit le mécanisme de seuillage par gradients multi-taux. Nous prouvons rigoureusement que G2^22 atténue le problème de sur-lissage (oversmoothing) et permet la conception de GNN profonds. Des résultats expérimentaux sont fournis pour démontrer que le cadre proposé atteint des performances de pointe sur diverses tâches d'apprentissage sur graphe, y compris sur des graphes hétérophiles à grande échelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp