نقدم تعميمًا لـ Transformers إلى بيانات ثابتة تحت التبديل من أي رتبة (المجموعات، والرسوم البيانية، والرسوم البيانية الفائقة). نبدأ بملاحظة أن الـ Transformers تعمم الـ DeepSets، أو شبكات MLP الثابتة تحت التبديل من الرتبة الأولى (مدخلات المجموعات). ثم، بناءً على شبكات MLP الثابتة تحت التبديل من الرتب الأعلى التي تم وصفها مؤخرًا، نوسع مفهوم الانتباه الذاتي إلى الرتب الأعلى ونقترح الـ Transformers من الرتب الأعلى للبيانات من الرتبة-$k$k ($k=2$k=2 للرسوم البيانية و $k>2$k>2 للرسوم البيانية الفائقة). ومع ذلك، يتبين أن تعقيد الـ Transformers من الرتب الأعلى يكون مُحَدِّدًا بشكل كبير $\mathcal{O}(n^{2k})$O(n2k) بالنسبة لعدد العقد المدخلية $n$n. لمعالجة هذه المشكلة، نقدم الـ Transformers النادرة من الرتب الأعلى والتي تكون تعقيدها تربيعيًا بالنسبة لعدد الحواف الفائقة المدخلية، ونتبنى نهج انتباه النواة لتقليل التعقيد إلى خطي. وبشكل خاص، نوضح أن الـ Transformers النادرة من الرتبة الثانية مع انتباه النواة تكون أكثر تعبيرية نظريًا من عمليات تمرير الرسائل بينما لديها تعقيد مقارب لها. حققت نماذجنا تحسينات أداء كبيرة على شبكات MLP الثابتة تحت التبديل وشبكات الجراف العصبية التي تقوم بتمرير الرسائل في مهام الانحدار الجرافي الكبيرة ومهمات التنبؤ بالمجموعة إلى (الجراف الفائق). يمكن الوصول إلى تنفيذنا عبر الرابط https://github.com/jw9730/hot.