Échantillonnage Adaptatif pour une Apprendre Rapidement les Représentations de Graphes

Les Réseaux de Convolution Graphique (Graph Convolutional Networks, GCNs) sont devenus un outil crucial pour l'apprentissage des représentations des sommets de graphes. Le principal défi dans l'adaptation des GCNs aux grands graphes est le problème d'évolutivité qui entraîne un coût élevé tant en termes de calcul que de mémoire, en raison de l'expansion incontrôlable du voisinage à travers les couches. Dans cet article, nous accélérons l'entraînement des GCNs en développant une méthode d'échantillonnage adaptative couche par couche. En construisant le réseau couche par couche dans une passe descendante, nous échantillonnons la couche inférieure conditionnellement à la couche supérieure, où les voisinages échantillonnés sont partagés entre différents nœuds parents et l'expansion excessive est évitée grâce à l'échantillonnage de taille fixe. Plus important encore, le prélèvement proposé est adaptatif et peut être utilisé pour une réduction explicite de la variance, ce qui améliore ainsi l'entraînement de notre méthode. De plus, nous proposons une nouvelle approche économique pour favoriser la propagation des messages entre les nœuds distants en utilisant des connexions sauteuses (skip connections). Des expériences intensives sur plusieurs benchmarks ont vérifié l'efficacité de notre méthode en termes de précision de classification tout en bénéficiant d'une vitesse de convergence plus rapide.