تُدرس نماذج التحويل (Transformers) الخاصة ببيانات الرسوم البيانية بشكل متزايد، وحققت نجاحًا كبيرًا في العديد من المهام التعلمية. تُعد الارتباطات الاستنتاجية للرسوم البيانية (Graph inductive biases) أمرًا بالغ الأهمية لنموذج Transformers الخاص بالرسوم البيانية، وقد تم دمجها سابقًا باستخدام وحدات تمرير الرسائل (message-passing modules) و/أو الترميزات المكانية (positional encodings). ومع ذلك، فإن نماذج Transformers الخاصة بالرسوم البيانية التي تعتمد على تمرير الرسائل ترث المشاكل المعروفة المرتبطة بهذه الطريقة، كما تختلف بشكل كبير عن نماذج Transformers المستخدمة في المجالات الأخرى، مما يجعل نقل التطورات البحثية أكثر صعوبة. من ناحية أخرى، غالبًا ما تؤدي نماذج Transformers الخاصة بالرسوم البيانية التي لا تعتمد على تمرير الرسائل إلى أداء ضعيف على المجموعات الصغيرة من البيانات، حيث تكون الارتباطات الاستنتاجية أكثر أهمية. لسد هذه الفجوة، نقترح نموذج Graph Inductive bias Transformer (GRIT) – وهو نموذج جديد لـ Transformers الخاص بالرسوم البيانية يدمج الارتباطات الاستنتاجية للرسوم دون استخدام تمرير الرسائل. يُبنى GRIT على عدة تغييرات معمارية، كل منها مبرر نظريًا وتجريبيًا، ومنها: ترميزات مكانية نسبية قابلة للتعلم، تُهيئ أوليًا باستخدام احتمالات المشي العشوائي (random walk probabilities)، وآلية انتباه مرنة تقوم بتحديث تمثيلات العقد وتمثيلات أزواج العقد، بالإضافة إلى إدخال معلومات الدرجة (degree information) في كل طبقة. ونُثبت أن GRIT يتمتع بقدرة تعبيرية عالية – حيث يمكنه تمثيل المسافات القصوى بين المسارات (shortest path distances) ومتعددة أنواع مصفوفات الانتشار في الرسوم البيانية. وقد حقق GRIT أداءً تجريبيًا يُعد من أفضل الأداء في مجموعة متنوعة من مجموعات بيانات الرسوم البيانية، مما يُظهر القوة الحقيقية التي يمكن أن تقدمها نماذج Transformers الخاصة بالرسوم البيانية دون الاعتماد على تمرير الرسائل.