Affinage des réseaux de neurones graphiques par transport optimal induit par la topologie du graphe

Récemment, le paradigme de pré-entraînement-suivi d’un entraînement fin (pretrain-finetuning) a suscité un intérêt considérable au sein de la communauté du apprentissage sur graphes, en raison de sa capacité à atténuer le problème du manque d’étiquettes dans de nombreuses applications du monde réel. Les études actuelles exploitent des techniques existantes, telles que la contrainte sur les poids ou la contrainte sur les représentations, initialement développées pour des données d’images ou de texte, afin de transférer les connaissances invariantes de la phase de pré-entraînement vers la phase d’entraînement fin. Toutefois, ces approches échouent à préserver les invariances propres à la structure des graphes ainsi qu’aux modèles de réseaux de neurones sur graphes (Graph Neural Networks, GNN). Dans ce travail, nous proposons un nouveau cadre d’entraînement fin basé sur le transport optimal, appelé GTOT-Tuning (Graph Topology induced Optimal Transport fine-Tuning), spécifiquement conçu pour les architectures GNN. GTOT-Tuning repose sur l’exploitation des propriétés intrinsèques des données de graphe afin d’améliorer la préservation des représentations produites par les réseaux entraînés finement. À cette fin, nous formulons le transfert de connaissances locales au sein du graphe comme un problème de transport optimal (Optimal Transport, OT) intégrant un prior structurel, et introduisons un régulariseur GTOT pour contraindre le comportement du modèle entraîné finement. Grâce à l’exploitation des relations d’adjacence entre nœuds, le régulariseur GTOT permet d’effectuer des procédures de transport optimal au niveau des nœuds, tout en réduisant les transferts redondants, ce qui conduit à un transfert de connaissances plus efficace à partir des modèles pré-entraînés. Nous évaluons GTOT-Tuning sur huit tâches de classification descendantes utilisant diverses architectures GNN, et démontrons qu’il atteint des performances d’entraînement fin de pointe pour les GNN.