HyperAIHyperAI

Command Palette

Search for a command to run...

هل الانتباه أفضل من التحليل المصفوفي؟

Zhengyang Geng Meng-Hao Guo Hongxu Chen Xia Li Ke Wei Zhouchen Lin

الملخص

كمكون أساسي في التعلم العميق الحديث، يلعب ميكانيزم الانتباه، وخاصة الانتباه الذاتي، دورًا حيويًا في اكتشاف الارتباطات العالمية. ولكن هل يُعد الانتباه المُصمم يدويًا غير قابل للاستبدال عند نمذجة السياق العالمي؟ وجدنا اكتشافًا مثيرًا هو أن الانتباه الذاتي ليس أفضل من نموذج التحليل المصفوفي (MD) الذي تم تطويره قبل 20 عامًا من حيث الأداء وتكاليف الحوسبة عند ترميز الاعتماديات طويلة المدى. نُعَدّ مشكلة السياق العالمي كمشكلة استرداد منخفض الرتبة، ونُظهر أن خوارزميات التحسين الخاصة بها يمكن أن تُسهم في تصميم كتل معلومات عالمية. وبناءً عليه، تُقترح في هذه الورقة سلسلة من "الهامبرغرز"، حيث نستخدم خوارزميات التحسين لحل التحليلات المصفوفية (MD) بهدف تحليل تمثيلات الإدخال إلى مصفوفات فرعية وإعادة بناء تمثيل منخفض الرتبة. يمكن للهامبرغرز التي تعتمد على تحليلات مصفوفية مختلفة أن تُنافس بنجاح الوحدة الشهيرة للسياق العالمي، وهي الانتباه الذاتي، شريطة التعامل بدقة مع التدرجات العكسية المُمرَّرة عبر التحليلات المصفوفية. تم إجراء تجارب شاملة في مهام الرؤية التي يُعد فيها تعلُّم السياق العالمي أمرًا بالغ الأهمية، مثل التجزئة الدلالية وإنشاء الصور، ما أظهر تحسينات كبيرة مقارنة بالانتباه الذاتي ومشتقاته.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp