DyG2Vec : Apprentissage efficace de représentations pour graphes dynamiques

Les réseaux neuronaux sur graphes temporels ont montré des résultats prometteurs dans l'apprentissage de représentations inductives en extrayant automatiquement des motifs temporels. Cependant, les travaux précédents s'appuient souvent sur des modules mémoire complexes ou des méthodes de marche aléatoire inefficaces pour construire des représentations temporelles. Pour remédier à ces limitations, nous présentons un encodeur basé sur l'attention à la fois efficace et performant, qui utilise des encodages d'arêtes temporelles et un échantillonnage de sous-graphes basé sur des fenêtres pour générer des plongements indépendants de la tâche (task-agnostic embeddings). De plus, nous proposons une architecture de plongement conjoint utilisant un apprentissage auto-supervisé non contrastif (non-contrastive SSL) pour apprendre des plongements temporels riches sans étiquettes. Les résultats expérimentaux sur 7 jeux de données de référence montrent que notre modèle dépasse en moyenne les modèles baselines de pointe (SoTA) dans la tâche de prédiction de liens futurs de 4,23 % pour le cadre transductif et de 3,30 % pour le cadre inductif, tout en nécessitant seulement 5 à 10 fois moins de temps d'entraînement/inférence. Enfin, différentes facettes du cadre proposé sont examinées par le biais d'analyses expérimentales et d'études d'ablation. Le code est disponible au public sur https://github.com/huawei-noah/noah-research/tree/master/graph_atlas.