Graph Neural Networks mit lernbaren strukturellen und positionellen Darstellungen

Graph Neural Networks (GNNs) sind zu den Standard-Lernarchitekturen für Graphen geworden. GNNs wurden in zahlreichen Anwendungsbereichen eingesetzt, darunter Quantenchemie, Empfehlungssysteme, Wissensgraphen und natürliche Sprachverarbeitung. Ein zentrales Problem bei beliebigen Graphen ist das Fehlen kanonischer Positionsinformationen der Knoten, was die Repräsentationskraft von GNNs beeinträchtigt, insbesondere hinsichtlich der Unterscheidung isomorpher Knoten und anderer Graphensymmetrien. Ein Ansatz zur Bewältigung dieses Problems besteht darin, Positionscodierungen (Positional Encoding, PE) für Knoten einzuführen und diese in die Eingabeschicht zu integrieren, analog wie bei Transformers. Mögliche graphenbasierte PE sind beispielsweise Eigenvektoren des Laplace-Operators. In dieser Arbeit schlagen wir vor, strukturelle und positionale Repräsentationen zu entkoppeln, um es dem Netzwerk zu erleichtern, diese beiden wesentlichen Eigenschaften zu erlernen. Wir stellen eine neuartige, generische Architektur vor, die wir LSPE (Learnable Structural and Positional Encodings) nennen. Wir untersuchen mehrere spärlich und vollständig verbundene (Transformer-ähnliche) GNNs und beobachten eine Leistungssteigerung bei molekularen Datensätzen von 1,79 % bis hin zu 64,14 %, wenn learnbare PE für beide GNN-Klassen berücksichtigt werden.