HyperAIHyperAI
منذ 11 أيام

الانتباه الذاتي بألوانه: نظرة ثانية على ترميز البنية الرسومية في المحولات

Romain Menegaux, Emmanuel Jehanno, Margot Selosse, Julien Mairal
الانتباه الذاتي بألوانه: نظرة ثانية على ترميز البنية الرسومية في المحولات
الملخص

نقدّم آلية انتباه ذاتية جديدة، نسمّيها CSA (الانتباه الذاتي الملون)، التي تمدد مفهوم درجات الانتباه إلى ما يُسمّى بـ "المرشحات الانتباهية"، والتي تُعدّل بشكل مستقل قنوات الميزات. نُظهر فعالية CSA في نموذج تحويلي رسومي بالكامل يُسمّى CGT (التحويل الرسومي الملون)، الذي يدمج معلومات البنية الرسومية مع ميزات الحواف، مع تجاوز كامل لحاجة وجود مكونات تبادل الرسائل المحلية. تُشفّر طريقة عملنا بنية الرسم البياني بشكل مرن من خلال تفاعلات بين العقد، وذلك من خلال تثري ميزات الحواف الأصلية باستخدام نموذج ترميز مكاني نسبي. ونُقدّم.scheme جديدة تعتمد على المشي العشوائي لترميز المعلومات البنائية والموضعية معًا، ونُبيّن كيف يمكن دمج معلومات فوقية من الدرجة العليا، مثل الدوائر في الرسوم البيانية الجزيئية. تحقق طريقة عملنا نتائج رائدة على مجموعة بيانات التقييم ZINC، مع توفير إطار عمل مرن لترميز بنية الرسم البياني ودمج البنية فوقية من الدرجة العليا.