Apprentissage d’embeddings universels pour les réseaux neuronaux graphes grâce à l’apprentissage par transfert

L’apprentissage d’embeddings de données puissants est devenu un pilier fondamental dans le domaine de l’apprentissage automatique, en particulier dans les domaines du traitement du langage naturel et de la vision par ordinateur. Le principe central de ces embeddings réside dans leur pré-entraînement sur de vastes corpus de données de manière non supervisée, parfois renforcé par l’apprentissage par transfert. Toutefois, dans le domaine de l’apprentissage sur graphes, les embeddings appris par les réseaux de neurones sur graphes (GNN) existants restent dépendants des tâches, ce qui empêche leur partage entre différents jeux de données. Dans cet article, nous proposons le premier modèle de réseau de neurones sur graphes puissant et théoriquement garanti, conçu pour apprendre des embeddings de graphes indépendants des tâches, désigné par la suite comme Deep Universal Graph Embedding (DUGNN). Notre modèle DUGNN intègre un nouveau réseau de neurones sur graphes (en tant qu’encodeur universel de graphes) et exploite des noyaux de graphes riches (en tant que décodeur multi-tâches) pour permettre à la fois l’apprentissage non supervisé et l’apprentissage supervisé adaptatif spécifique à une tâche. En apprenant des embeddings de graphes indépendants des tâches sur des jeux de données diversifiés, DUGNN bénéficie également des avantages de l’apprentissage par transfert. À travers des expérimentations approfondies et des études d’ablation, nous démontrons que le modèle DUGNN proposé surpasse de manière cohérente les modèles GNN d’état de l’art existants ainsi que les noyaux de graphes, avec une amélioration de précision de 3 % à 8 % sur des jeux de données standardisés pour la classification de graphes.