DRew : Passage de messages réorganisé dynamiquement avec délai

Les réseaux neuronaux à passage de messages (MPNN) ont été montrés souffrir du phénomène de sur-squash, qui entraîne une mauvaise performance pour les tâches reposant sur des interactions à longue portée. Ce défaut peut être en grande partie attribué au fait que le passage de messages n’a lieu qu’au voisinage immédiat d’un nœud. Les approches de réaffectation de connectivité visant à rendre les graphes « plus connectés » et supposément mieux adaptés aux tâches à longue portée perdent souvent le biais inductif fourni par la distance dans le graphe, car elles permettent une communication instantanée entre nœuds éloignés à chaque couche. Dans cet article, nous proposons un cadre général, applicable à toute architecture MPNN, qui effectue une réaffectation de connectivité dépendante de la couche afin d’assurer une densification progressive du graphe. Nous introduisons également un mécanisme de délai qui permet des connexions directes (skip connections) entre nœuds en fonction de la couche et de leur distance mutuelle. Nous validons notre approche sur plusieurs tâches à longue portée et démontrons qu’elle surpasse à la fois les Transformers sur graphes et les MPNN à plusieurs sauts.