HyperAIHyperAI

Command Palette

Search for a command to run...

DRew : Passage de messages réorganisé dynamiquement avec délai

Benjamin Gutteridge Xiaowen Dong Michael Bronstein Francesco Di Giovanni

Résumé

Les réseaux neuronaux à passage de messages (MPNN) ont été montrés souffrir du phénomène de sur-squash, qui entraîne une mauvaise performance pour les tâches reposant sur des interactions à longue portée. Ce défaut peut être en grande partie attribué au fait que le passage de messages n’a lieu qu’au voisinage immédiat d’un nœud. Les approches de réaffectation de connectivité visant à rendre les graphes « plus connectés » et supposément mieux adaptés aux tâches à longue portée perdent souvent le biais inductif fourni par la distance dans le graphe, car elles permettent une communication instantanée entre nœuds éloignés à chaque couche. Dans cet article, nous proposons un cadre général, applicable à toute architecture MPNN, qui effectue une réaffectation de connectivité dépendante de la couche afin d’assurer une densification progressive du graphe. Nous introduisons également un mécanisme de délai qui permet des connexions directes (skip connections) entre nœuds en fonction de la couche et de leur distance mutuelle. Nous validons notre approche sur plusieurs tâches à longue portée et démontrons qu’elle surpasse à la fois les Transformers sur graphes et les MPNN à plusieurs sauts.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DRew : Passage de messages réorganisé dynamiquement avec délai | Articles | HyperAI