Une étude complète sur l'entraînement à grande échelle des graphes : benchmarking et réflexion critique

L’entraînement à grande échelle sur des graphes constitue un problème particulièrement difficile pour les réseaux de neurones sur graphes (GNN). En raison de la nature dynamique des structures de graphe au cours du processus d’entraînement, les GNN classiques peinent généralement à s’échelonner, contraints par la capacité mémoire des GPU. Jusqu’à présent, bien que de nombreuses architectures de GNN évoluées aient été proposées, nous manquons encore d’un état de l’art exhaustif et d’un benchmark équitable pour explorer cet éventail de méthodes, afin de dégager des principes fondamentaux pour concevoir des GNN évolués. À cet effet, nous formulons d’abord de manière systématique les méthodes représentatives d’entraînement à grande échelle sur graphes en plusieurs catégories, puis établissons un benchmark équitable et cohérent pour ces approches grâce à une recherche de hyperparamètres gloutonne. En outre, concernant l’efficacité, nous évaluons théoriquement la complexité temporelle et spatiale de chaque catégorie, et les comparons empiriquement en termes d’utilisation mémoire GPU, de débit (throughput) et de convergence. Par la suite, nous analysons les avantages et inconvénients de chaque branche de GNN évolués, avant de proposer une nouvelle méthode d’entraînement par ensemblage, nommée EnGCN, visant à résoudre les limitations existantes. Notre code est disponible à l’adresse suivante : https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking.