Wir stellen GraphGPT vor, ein neuartiges selbstüberwachtes generatives vortrainiertes Modell für Graphenlernen basierend auf dem Graph Eulerian Transformer (GET). Zunächst führen wir GET ein, das eine herkömmliche Transformer-Encoder- oder Decoder-Architektur mit einer innovativen Graph-zu-Sequenz-Umwandlungsmethode kombiniert. Diese Methode wandelt Graphen oder zufällig ausgewählte Teilgraphen reversibel in Sequenzen von Tokens um, die Knoten, Kanten und Attribute repräsentieren, indem Euler-Pfade verwendet werden. Wir trainieren GET zunächst mit einer der beiden selbstüberwachten Aufgaben: Next-Token-Vorhersage (NTP) oder geplante maskierte Token-Vorhersage (SMTP). Das vortrainierte Modell wird anschließend für nachgeschaltete Aufgaben wie Graph-, Kanten- und Knotenlevel-Vorhersage feinjustiert. Trotz seiner Einfachheit erreicht GraphGPT Leistungen, die mit oder über den Stand der Technik auf mehreren großen Open Graph Benchmark (OGB)-Datensätzen liegen. Besonders hervorzuheben sind die herausragenden Ergebnisse auf dem Datensatz zur Vorhersage molekularer Eigenschaften PCQM4Mv2 sowie auf dem Protein-Protein-Interaktion-Datensatz ogbl-ppa. Insbesondere ermöglicht die generative Vortrainierung die Skalierung von GraphGPT auf bis zu 2 Milliarden Parameter, wobei die Leistungsverbesserungen erhalten bleiben – ein Durchbruch, der die Skalierbarkeitsbeschränkungen traditioneller Graph Neural Networks (GNNs) und vorheriger Graph-Transformers (GTs) überwindet. Um die Forschung in der Entwicklung von Graphen-Grundmodellen voranzutreiben und wissenschaftliche Entdeckungen in den Bereichen Chemie, Materialwissenschaften und verwandten Disziplinen zu fördern, veröffentlichen wir den Quellcode (https://github.com/alibaba/graph-gpt) sowie vortrainierte Checkpoints.