المحولات النقية قوية في تعلّم الرسوم البيانية

نُظهر أن نماذج المُحَوِّل القياسيّة (Transformers) دون أي تعديلات مخصصة للرسوم البيانية يمكن أن تُحقق نتائج واعدة في تعلم الرسوم البيانية، سواء من الناحية النظرية أو التطبيقية. مع إعطاء رسم بياني معين، نُعامل جميع العقد والحواف كـ "أمثلة مستقلة" (tokens)، ونُضفي عليها تمثيلات (embeddings) للـ tokens، ثم نُدخلها إلى نموذج المُحَوِّل. وباختيار مناسب لتمثيلات الـ tokens، نُثبت أن هذا النهج يمتلك تعبيرًا نظريًا لا يقل تعبيرًا عن شبكة رسم بياني مُتَحَدِّثة (2-IGN) مكوّنة من طبقات خطية مُتَمَاثِلة (equivariant linear layers)، والتي تفوق بالفعل جميع شبكات التعلم العصبي للرسوم البيانية القائمة على تمرير الرسائل (GNNs). عند تدريب النموذج على مجموعة بيانات كبيرة الحجم (PCQM4Mv2)، يُحقّق أسلوبنا المُسمّى "Transformer الرسوم البيانية المُعبّرة بـ Tokens" (TokenGT) أداءً متفوّقًا بشكل ملحوظ مقارنةً بالأساليب الأساسية لشبكات GNN، وأداءً تنافسيًا مقارنةً بنسخ المُحَوِّل ذات التحيّزات المُخصصة للرسوم البيانية المعقدة. يمكن الوصول إلى التنفيذ العملي عبر الرابط: https://github.com/jw9730/tokengt.