HyperAIHyperAI

Command Palette

Search for a command to run...

Une étude complète sur l'entraînement à grande échelle des graphes : benchmarking et réflexion critique

Keyu Duan Zirui Liu Peihao Wang Wenqing Zheng Kaixiong Zhou Tianlong Chen Xia Hu Zhangyang Wang

Résumé

L’entraînement à grande échelle sur des graphes constitue un problème particulièrement difficile pour les réseaux de neurones sur graphes (GNN). En raison de la nature dynamique des structures de graphe au cours du processus d’entraînement, les GNN classiques peinent généralement à s’échelonner, contraints par la capacité mémoire des GPU. Jusqu’à présent, bien que de nombreuses architectures de GNN évoluées aient été proposées, nous manquons encore d’un état de l’art exhaustif et d’un benchmark équitable pour explorer cet éventail de méthodes, afin de dégager des principes fondamentaux pour concevoir des GNN évolués. À cet effet, nous formulons d’abord de manière systématique les méthodes représentatives d’entraînement à grande échelle sur graphes en plusieurs catégories, puis établissons un benchmark équitable et cohérent pour ces approches grâce à une recherche de hyperparamètres gloutonne. En outre, concernant l’efficacité, nous évaluons théoriquement la complexité temporelle et spatiale de chaque catégorie, et les comparons empiriquement en termes d’utilisation mémoire GPU, de débit (throughput) et de convergence. Par la suite, nous analysons les avantages et inconvénients de chaque branche de GNN évolués, avant de proposer une nouvelle méthode d’entraînement par ensemblage, nommée EnGCN, visant à résoudre les limitations existantes. Notre code est disponible à l’adresse suivante : https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp