في الآونة الأخيرة، أصبحت نماذج التحويل (Transformers) المستخدمة في تعلم تمثيلات الرسم البياني شائعة بشكل متزايد، حيث حققت أداءً رائدًا في مجموعة متنوعة من مجموعات بيانات الرسم البياني، سواء بمفردها أو بالاشتراك مع شبكات العصبونات البيانية التي تعتمد على تمرير الرسائل (MP-GNNs). يعتبر إدخال التحيزات الاستقرائية للرسم البياني في بنية نموذج التحويل الذي لا يعترف بالهيكل بشكل طبيعي، على شكل ترميزات هيكلية أو موضعية (PEs)، أمرًا حاسمًا لتحقيق هذه النتائج المبهرة. ومع ذلك، فإن تصميم مثل هذه الترميزات أمر صعب وقد جرت محاولات مختلفة لتطويرها، بما في ذلك متجهات القيم الذاتية لللابلاسيان (Laplacian eigenvectors)، واحتمالات المشي العشوائي النسبي (RRWP)، والترميزات المكانية، والترميزات المركزية، والترميزات الحافة وغيرها. في هذا العمل، ندعي أن مثل هذه الترميزات قد لا تكون ضرورية على الإطلاق، بشرط أن يدمج آلية الانتباه نفسها المعلومات حول هيكل الرسم البياني. نقدم "Eigenformer"، وهو نموذج تحويل بياني يستخدم آلية انتباه جديدة واعية الطيف وتدرك طيف لابلاسيان الرسم البياني، ونظهر تجريبيًا أنه يحقق أداءً تنافسيًا مع أفضل نماذج التحويل البيانية على عدد من مقاييس الأداء القياسية لشبكات العصبونات البيانية (GNN). بالإضافة إلى ذلك، نثبت نظريًا أن "Eigenformer" يمكنه التعبير عن مختلف مصفوفات الربط الهيكلية للرسم البياني، وهو ما يكون ضروريًا بشكل خاص عند التعلم فوق رسوم بيانية صغيرة.