Exphormer: التحولات النادرة للرسوم البيانية

أصبحت نماذج التحويل الرسومية (Graph Transformers) معمارية واعدة لعدد كبير من مهام التعلم والتمثيل الرسومي. وعلى الرغم من نجاحاتها، تبقى التحديات كبيرة في توسيع نطاق نماذج التحويل الرسومية لتطبيقات الرسوم الكبيرة مع الحفاظ على دقة تنافسية مع الشبكات التي تعتمد على تبادل الرسائل (message-passing networks). في هذه الورقة، نقدم Exphormer، وهي إطار لبناء نماذج تحويل رسمية قوية وقابلة للتوسع. يتكوّن Exphormer من آلية انتباه نادرة تعتمد على ميكانيكيتين: العقد العالمية الافتراضية (virtual global nodes) والرسوم الموسعة (expander graphs)، حيث تؤدي الخصائص الرياضية لهذه الميكانيكيات، مثل التوسع الطيفي (spectral expansion) والعشوائية الظاهرية (pseudorandomness) والكثافة المنخفضة (sparsity)، إلى نماذج تحويل رسمية ذات تعقيد خطي بالنسبة لحجم الرسم، مع تمكيننا من إثبات خصائص نظرية مرغوبة للنماذج الناتجة. نُظهر أن دمج Exphormer في إطار GraphGPS الذي تم اقتراحه حديثًا ينتج نماذج تحقق نتائج تجريبية تنافسية على مجموعة واسعة من مجموعات بيانات الرسوم، بما في ذلك نتائج من الدرجة الأولى على ثلاث مجموعات بيانات. كما نُظهر أن Exphormer يمكنه التوسع لمعالجة مجموعات بيانات تحتوي على رسوم أكبر من تلك التي تم التوسع إليها في الهياكل السابقة لنماذج التحويل الرسومية. يمكن العثور على الشفرة المصدرية على الرابط: \url{https://github.com/hamed1375/Exphormer}.