نُقدّم GraphGPT، نموذجًا جديدًا ذاتي التدريب التوليدي المُدرّب مسبقًا للتعلم على الرسوم البيانية، بناءً على نموذج Transformer الإيلرية للرسوم البيانية (GET). أولاً، نقترح GET، الذي يدمج بين بنية مُشفّر أو فكّر معياري للـ Transformer وطريقة مبتكرة لتحويل الرسوم البيانية إلى تسلسلات، حيث يتم تحويل الرسوم البيانية أو عينات فرعية منها إلى تسلسلات من الرموز (tokens) تمثل العقد، الحواف، والسمات، بطريقة قابلة للعكس باستخدام مسارات إيلرية. يتم تدريب GET مسبقًا باستخدام إحدى المهمتين ذاتيتي التدريب: توقع الرمز التالي (NTP) أو توقع الرموز المُغطاة المُجدولة (SMTP). بعد ذلك، يتم تدريب النموذج المُدرّب مسبقًا بدقة على المهام التطبيقية مثل التنبؤ على مستوى الرسم البياني، أو الحافة، أو العقدة. وعلى الرغم من بساطته، يحقق GraphGPT أداءً مماثلًا أو أفضل من أحدث الأساليب على العديد من مجموعات بيانات معيارية كبيرة من معيار OGB (Open Graph Benchmark). ويُظهر نتائج استثنائية على مجموعة بيانات تنبؤ الخصائص الجزيئية PCQM4Mv2، وعلى مجموعة بيانات التفاعل بين البروتينات ogbl-ppa. وبشكل ملحوظ، يُمكّن التدريب التوليدي من توسيع GraphGPT ليصل إلى 2 مليار معامل مع الحفاظ على تحسين الأداء — وهي إنجاز كبير يتجاوز قيود القابلية للتوسع التي كانت تواجهها الشبكات العصبية للرسوم البيانية التقليدية (GNNs) والمحولات الرسومية السابقة (GTs). ولتعزيز الأبحاث في مجال النماذج الأساسية للرسوم البيانية وتسهيل الاكتشاف العلمي في مجالات الكيمياء وعلوم المواد ومواضيع ذات صلة، سنُطلق مصدري الكود المصدري (https://github.com/alibaba/graph-gpt) ونُحفّز النماذج المُدرّبة مسبقًا.