HyperAIHyperAI

Command Palette

Search for a command to run...

Graph Neural Networks mit lernbaren strukturellen und positionellen Darstellungen

Vijay Prakash Dwivedi Anh Tuan Luu Thomas Laurent Yoshua Bengio Xavier Bresson

Zusammenfassung

Graph Neural Networks (GNNs) sind zu den Standard-Lernarchitekturen für Graphen geworden. GNNs wurden in zahlreichen Anwendungsbereichen eingesetzt, darunter Quantenchemie, Empfehlungssysteme, Wissensgraphen und natürliche Sprachverarbeitung. Ein zentrales Problem bei beliebigen Graphen ist das Fehlen kanonischer Positionsinformationen der Knoten, was die Repräsentationskraft von GNNs beeinträchtigt, insbesondere hinsichtlich der Unterscheidung isomorpher Knoten und anderer Graphensymmetrien. Ein Ansatz zur Bewältigung dieses Problems besteht darin, Positionscodierungen (Positional Encoding, PE) für Knoten einzuführen und diese in die Eingabeschicht zu integrieren, analog wie bei Transformers. Mögliche graphenbasierte PE sind beispielsweise Eigenvektoren des Laplace-Operators. In dieser Arbeit schlagen wir vor, strukturelle und positionale Repräsentationen zu entkoppeln, um es dem Netzwerk zu erleichtern, diese beiden wesentlichen Eigenschaften zu erlernen. Wir stellen eine neuartige, generische Architektur vor, die wir LSPE (Learnable Structural and Positional Encodings) nennen. Wir untersuchen mehrere spärlich und vollständig verbundene (Transformer-ähnliche) GNNs und beobachten eine Leistungssteigerung bei molekularen Datensätzen von 1,79 % bis hin zu 64,14 %, wenn learnbare PE für beide GNN-Klassen berücksichtigt werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp