هل الانتباه أفضل من التحليل المصفوفي؟

كمكون أساسي في التعلم العميق الحديث، يلعب ميكانيزم الانتباه، وخاصة الانتباه الذاتي، دورًا حيويًا في اكتشاف الارتباطات العالمية. ولكن هل يُعد الانتباه المُصمم يدويًا غير قابل للاستبدال عند نمذجة السياق العالمي؟ وجدنا اكتشافًا مثيرًا هو أن الانتباه الذاتي ليس أفضل من نموذج التحليل المصفوفي (MD) الذي تم تطويره قبل 20 عامًا من حيث الأداء وتكاليف الحوسبة عند ترميز الاعتماديات طويلة المدى. نُعَدّ مشكلة السياق العالمي كمشكلة استرداد منخفض الرتبة، ونُظهر أن خوارزميات التحسين الخاصة بها يمكن أن تُسهم في تصميم كتل معلومات عالمية. وبناءً عليه، تُقترح في هذه الورقة سلسلة من "الهامبرغرز"، حيث نستخدم خوارزميات التحسين لحل التحليلات المصفوفية (MD) بهدف تحليل تمثيلات الإدخال إلى مصفوفات فرعية وإعادة بناء تمثيل منخفض الرتبة. يمكن للهامبرغرز التي تعتمد على تحليلات مصفوفية مختلفة أن تُنافس بنجاح الوحدة الشهيرة للسياق العالمي، وهي الانتباه الذاتي، شريطة التعامل بدقة مع التدرجات العكسية المُمرَّرة عبر التحليلات المصفوفية. تم إجراء تجارب شاملة في مهام الرؤية التي يُعد فيها تعلُّم السياق العالمي أمرًا بالغ الأهمية، مثل التجزئة الدلالية وإنشاء الصور، ما أظهر تحسينات كبيرة مقارنة بالانتباه الذاتي ومشتقاته.