تعتمد الشبكات العصبية الرسومية (GNNs) السائدة بشكل مفرط على الروابط الرسومية، وقد تم ملاحظة بالفعل مشاكل أداء خطيرة ناتجة عنها، مثل مشكلة "الجمود" (suspended animation problem) ومشكلة "التجانس الزائد" (over-smoothing problem). علاوةً على ذلك، فإن الطبيعة المترابطة بطبيعتها للرسم البياني تمنع التوازي داخل الرسم البياني، وهو أمر بالغ الأهمية بالنسبة للرسومات الكبيرة، نظرًا لأن قيود الذاكرة تحد من إمكانية التجميع (batching) عبر العقد. في هذا البحث، نقدم نموذجًا جديدًا للشبكة العصبية الرسومية يُسمى GRAPH-BERT (الشبكة العصبية الرسومية المستندة إلى BERT)، الذي يعتمد حصريًا على آلية الانتباه دون استخدام أي عمليات تصفية رسمية (graph convolution) أو عمليات تجميع (aggregation). بدلًا من تغذية GRAPH-BERT بالرسم البياني الكبير الكامل، نقترح تدريبه باستخدام عينات من الرسوم الفرعية الخالية من الروابط ضمن سياقاتها المحلية. يمكن لـ GRAPH-BERT التعلم بكفاءة في وضع مستقل. وفي الوقت نفسه، يمكن نقل نموذج GRAPH-BERT المُدرّب مسبقًا مباشرة إلى مهام تطبيقية أخرى، إما بشكل مباشر أو بعد التأقلم الدقيق (fine-tuning) عند توفر معلومات تسمية مراقبة أو أهداف موجهة لتطبيقات معينة. تم اختبار فعالية GRAPH-BERT على عدة مجموعات بيانات معيارية للرسوم البيانية. وباستخدام النموذج المُدرّب مسبقًا على مهام استعادة سمات العقدة واستعادة البنية، قمنا بتأقلم دقيق لـ GRAPH-BERT على مهام تصنيف العقدة وتصنيف الرسوم البيانية. وقد أظهرت النتائج التجريبية أن GRAPH-BERT يتفوق على الشبكات العصبية الرسومية الحالية من حيث كفاءة التعلم وفعاليته.