Affinage des réseaux neuronaux graphiques en préservant les motifs génératifs graphiques

Récemment, le paradigme de pré-entraînement suivi d’un fine-tuning des réseaux de neurones sur graphes (GNN) a fait l’objet d’études approfondies et est largement appliqué à une variété de tâches d’extraction de connaissances à partir de graphes. Son succès est généralement attribué à la cohérence structurelle entre les jeux de données utilisés pour le pré-entraînement et ceux du domaine cible (downstream), hypothèse qui ne tient pas dans de nombreux scénarios réels. Les travaux existants ont montré que la divergence structurelle entre les graphes utilisés pour le pré-entraînement et ceux du domaine cible limite significativement la transférabilité lorsqu’on applique une stratégie de fine-tuning classique. Cette divergence entraîne un surapprentissage du modèle sur les graphes du pré-entraînement et complique la capture des propriétés structurelles propres aux graphes du domaine cible. Dans cet article, nous identifions la cause fondamentale de cette divergence structurelle comme étant la disparité des motifs de génération entre les graphes du pré-entraînement et ceux du domaine cible. En outre, nous proposons G-Tuning, une méthode visant à préserver les motifs de génération propres aux graphes du domaine cible. Étant donné un graphe cible G, l’idée centrale consiste à ajuster le GNN pré-entraîné de manière à ce qu’il puisse reconstruire les motifs de génération de G, modélisés par une graphon W. Toutefois, la reconstruction exacte d’une graphon est connue pour être extrêmement coûteuse en termes computationnels. Pour surmonter ce défi, nous fournissons une analyse théorique établissant l’existence d’un ensemble de graphons alternatifs, appelés bases de graphons, pour toute graphon donnée. En exploitant une combinaison linéaire de ces bases, il devient possible d’approximer efficacement W. Ce résultat théorique constitue la fondation de notre modèle proposé, car il permet un apprentissage efficace des bases de graphons ainsi que de leurs coefficients associés. Par rapport aux algorithmes existants, G-Tuning montre une amélioration moyenne de 0,5 % et de 2,6 % respectivement dans les expériences de transfert intra-domaine et d’extrapolation hors-domaine.