Graphenbasiertes Repräsentationslernen mit gemeinsam eingebetteten prädiktiven Architekturen

Joint-Embedding Predictive Architectures (JEPAs) sind kürzlich als neu und mächtige Methode für das selbstüberwachte Lernen von Repräsentationen hervorgetreten. Ihr Ziel ist es, ein energiebasiertes Modell durch die Vorhersage der latenten Darstellung eines Zielsignals (y) aus der latenten Darstellung eines Kontextsignals (x) zu lernen. JEPAs umgehen die Notwendigkeit von negativen und positiven Beispielen, die traditionell vom kontrastiven Lernen verlangt werden, und vermeiden gleichzeitig die Überanpassungsprobleme, die mit dem generativen Vortrainieren verbunden sind. In dieser Arbeit zeigen wir, dass graphbasierte Repräsentationen effektiv unter Verwendung dieses Paradigmas modelliert werden können, indem wir eine Graph Joint-Embedding Predictive Architecture (Graph-JEPA) vorschlagen. Insbesondere verwenden wir maskiertes Modellieren und konzentrieren uns auf die Vorhersage der latenten Darstellungen von maskierten Teilgraphen ausgehend von der latenten Darstellung eines Kontextteilgraphen. Um den Repräsentationen die implizite Hierarchie zu verleihen, die oft in graphbasierten Konzepten vorhanden ist, entwickeln wir ein alternatives Vorhersageziel, das darin besteht, die Koordinaten der kodierten Teilgraphen auf der Einheitshyperbel in der 2D-Ebene vorherzusagen. Durch mehrere experimentelle Evaluierungen zeigen wir, dass Graph-JEPA hochsemantische und ausdrucksstarke Repräsentationen lernen kann, wie dies durch die nachgeschaltete Leistung bei der Graphklassifikation, Regression und Unterscheidung nicht-isomorpher Graphen belegt wird. Der Code ist unter https://github.com/geriskenderi/graph-jepa verfügbar.