Kontrastives Repräsentationslernen für die dynamische Linkvorhersage in zeitlichen Netzwerken

Entwicklungsnetzwerke sind komplexe Datenstrukturen, die in einem breiten Spektrum von Systemen in der Wissenschaft und Technik auftreten. Das Lernen ausdrucksstarker Repräsentationen für solche Netzwerke, die ihre strukturelle Verbindung und zeitliche Entwicklung kodieren, ist entscheidend für nachgelagerte Datenanalyse- und maschinelles Lernen-Anwendungen. In dieser Studie stellen wir eine selbstüberwachte Methode zur Lernrepräsentation zeitlicher Netzwerke vor und verwenden diese Repräsentationen in der dynamischen Link-Vorhersage-Aufgabe. Obwohl zeitliche Netzwerke typischerweise als Sequenz von Interaktionen im kontinuierlichen Zeitbereich charakterisiert werden, konzentriert sich unsere Studie auf ihre diskreten Zeitversionen. Dies ermöglicht es uns, den Kompromiss zwischen rechnerischer Komplexität und präziser Modellierung der Interaktionen zu gewährleisten. Wir schlagen eine rekurrente Nachrichtenübertragungs-Neuronale-Netzwerk-Architektur (Recurrent Message-Passing Neural Network Architecture) vor, um den Informationsfluss entlang zeitrespektierender Pfade von zeitlichen Netzwerken zu modellieren. Die wesentliche Eigenschaft unserer Methode ist das kontrastive Trainingsziel des Modells, das eine Kombination aus drei Verlustfunktionen darstellt: Link-Vorhersage, Graph-Rekonstruktion und kontrastiver prädiktiver Kodierung (Contrastive Predictive Coding) Verluste. Das Ziel der kontrastiven prädiktiven Kodierung wird sowohl auf lokaler als auch auf globaler Ebene der Eingangsgraphen mit infoNCE-Verlustfunktionen implementiert. Wir zeigen empirisch, dass die zusätzlichen selbstüberwachten Verlustfunktionen das Training verbessern und die Leistung des Modells in der dynamischen Link-Vorhersage-Aufgabe erhöhen. Die vorgeschlagene Methode wurde anhand der Datensätze Enron, COLAB und Facebook getestet und erzielt überlegene Ergebnisse im Vergleich zu bestehenden Modellen.