GraphGPT: Generative Pre-trained Graph Eulerian Transformer

Wir stellen GraphGPT vor, ein neuartiges selbstüberwachtes generatives vortrainiertes Modell für Graphenlernen basierend auf dem Graph Eulerian Transformer (GET). Zunächst führen wir GET ein, das eine herkömmliche Transformer-Encoder- oder Decoder-Architektur mit einer innovativen Graph-zu-Sequenz-Umwandlungsmethode kombiniert. Diese Methode wandelt Graphen oder zufällig ausgewählte Teilgraphen reversibel in Sequenzen von Tokens um, die Knoten, Kanten und Attribute repräsentieren, indem Euler-Pfade verwendet werden. Wir trainieren GET zunächst mit einer der beiden selbstüberwachten Aufgaben: Next-Token-Vorhersage (NTP) oder geplante maskierte Token-Vorhersage (SMTP). Das vortrainierte Modell wird anschließend für nachgeschaltete Aufgaben wie Graph-, Kanten- und Knotenlevel-Vorhersage feinjustiert. Trotz seiner Einfachheit erreicht GraphGPT Leistungen, die mit oder über den Stand der Technik auf mehreren großen Open Graph Benchmark (OGB)-Datensätzen liegen. Besonders hervorzuheben sind die herausragenden Ergebnisse auf dem Datensatz zur Vorhersage molekularer Eigenschaften PCQM4Mv2 sowie auf dem Protein-Protein-Interaktion-Datensatz ogbl-ppa. Insbesondere ermöglicht die generative Vortrainierung die Skalierung von GraphGPT auf bis zu 2 Milliarden Parameter, wobei die Leistungsverbesserungen erhalten bleiben – ein Durchbruch, der die Skalierbarkeitsbeschränkungen traditioneller Graph Neural Networks (GNNs) und vorheriger Graph-Transformers (GTs) überwindet. Um die Forschung in der Entwicklung von Graphen-Grundmodellen voranzutreiben und wissenschaftliche Entdeckungen in den Bereichen Chemie, Materialwissenschaften und verwandten Disziplinen zu fördern, veröffentlichen wir den Quellcode (https://github.com/alibaba/graph-gpt) sowie vortrainierte Checkpoints.