Long Range Graph Benchmark

Les réseaux de neurones graphiques (GNN) fondés sur le paradigme d'échange de messages (message passing, MP) échangent généralement des informations entre voisins à une distance de un saut (1-hop) afin de construire des représentations de nœuds à chaque couche. En théorie, de tels réseaux ne sont pas en mesure de capturer les interactions à longue portée (LRI, long-range interactions), qui peuvent être nécessaires ou souhaitables pour apprendre une tâche donnée sur un graphe. Récemment, un intérêt croissant s'est porté sur le développement de méthodes basées sur les Transformers pour les graphes, capables de prendre en compte la connectivité complète des nœuds au-delà de la structure initialement creuse, permettant ainsi de modéliser efficacement les LRI. Toutefois, les GNN basés sur le MP, qui reposent uniquement sur l'échange de messages à un saut, obtiennent souvent de meilleurs résultats sur plusieurs benchmarks graphiques existants lorsqu'ils sont combinés avec des représentations de caractéristiques positionnelles, entre autres innovations, limitant ainsi la perception de leur utilité et leur classement par rapport aux architectures inspirées des Transformers. Dans ce travail, nous présentons le Long Range Graph Benchmark (LRGB), comprenant cinq jeux de données d'apprentissage sur graphes : PascalVOC-SP, COCO-SP, PCQM-Contact, Peptides-func et Peptides-struct, qui exigent, selon nous, un raisonnement basé sur des interactions à longue portée pour atteindre de fortes performances sur une tâche donnée. Nous évaluons à la fois des GNN de base et des réseaux Graph Transformer afin de vérifier que les modèles capables de capturer des dépendances à longue portée se distinguent nettement sur ces tâches. Ces jeux de données s'avèrent donc particulièrement adaptés pour évaluer et explorer les architectures GNN basées sur le MP et les Graph Transformers conçues pour modéliser les interactions à longue portée.