نقدّم نموذجًا قائمًا على المحولات (Transformer) يُسمّى UGformer، لتعلم تمثيلات الرسوم البيانية. وبشكل خاص، نعرض نسختين من UGformer، حيث تُستخدم المحولات في النسخة الأولى (التي أُعلنت في سبتمبر 2019) على مجموعة من الجيران المُستَعَمَدين لكل عقدة مدخلة، بينما تُستخدم المحولات في النسخة الثانية (التي أُعلنت في مايو 2021) على جميع العقد المدخلة. أظهرت النتائج التجريبية أن النسخة الأولى من UGformer تحقق دقةً متقدمة جدًا على مجموعات بيانات معيارية لتصنيف الرسوم البيانية في كل من البيئة الاستنتاجية (inductive) والبيئة التحويلية غير المراقبة (unsupervised transductive)؛ كما حققت النسخة الثانية دقةً متقدمة جدًا في تصنيف النصوص الاستنتاجية. يُمكن الوصول إلى الكود من خلال الرابط التالي: \url{https://github.com/daiquocnguyen/Graph-Transformer}.