Graph-Bert segmenté pour la modélisation d'instances de graphe

Dans l’apprentissage des représentations d’instances de graphes, la diversité des tailles des instances de graphes ainsi que la propriété d’indépendance de l’ordre des nœuds constituent des obstacles majeurs qui empêchent les modèles d’apprentissage des représentations existants de fonctionner efficacement. Dans cet article, nous examinons l’efficacité de GRAPH-BERT pour l’apprentissage des représentations d’instances de graphes, initialement conçu pour des tâches d’apprentissage des représentations de nœuds. Afin d’adapter GRAPH-BERT aux nouveaux cadres de problème, nous le révisons en adoptant une architecture segmentée, désignée dans cet article comme SEG-BERT (Segmented GRAPH-BERT) pour des raisons de simplicité de référence. SEG-BERT ne repose plus sur des entrées ou des composants sensibles à l’ordre des nœuds, et peut naturellement traiter la propriété d’indépendance de l’ordre des nœuds dans les graphes. En outre, SEG-BERT intègre une architecture segmentée et propose trois stratégies distinctes pour uniformiser les tailles des instances de graphes : respectivement, l’entrée complète, le remplissage (padding)/élagage (pruning) et le décalage de segments. SEG-BERT est pré-entraînable de manière non supervisée et peut être directement transféré à de nouvelles tâches, soit sans ajustement, soit après une fine-tuning nécessaire. Nous avons évalué l’efficacité de SEG-BERT à l’aide d’expériences sur sept jeux de données de référence d’instances de graphes, et SEG-BERT surpasse les méthodes de comparaison sur six d’entre elles, avec des avantages significatifs en performance.