HyperAIHyperAI

Command Palette

Search for a command to run...

Transformer خالٍ من انتباه المنتج النقطي

Joshua M. Susskind Ruixiang Zhang Hanlin Goh Chen Huang Nitish Srivastava Walter Talbott Shuangfei Zhai

الملخص

نُقدّم نموذج "الانتباه المنتج النقطي الحر (DAFT)"، وهو نسخة فعّالة من نماذج المحولات (Transformers) [citep{transformer}، والتي تُزيل عملية الضرب النقطي بين الاستعلام (query) والهدف (key) في آلية الانتباه الذاتي. الفكرة الأساسية تكمن في بناء خريطة انتباه قابلة للتحليل لكل بعد من أبعاد الاستعلام والهدف والقيمة. وتتيح هذه الخصائص التراكيبية (compositionality) إمكانية تنفيذ النموذج دون الحاجة إلى حساب أو تخزين تمثيل مصفوفة الانتباه بشكل صريح. تتميز طبقة DAFT بتعقيد ذاكرة خطي بالنسبة لكل من حجم السياق (context size) وعدد أبعاد الميزات، مما يجعلها متوافقة مع المدخلات الكبيرة والمقاييس الكبيرة للنموذج. كما نقدّم DAFT-conv، وهي صيغة مُعدّلة للنموذج تستفيد من خاصية المحلية (locality) ومشاركة الأوزان المكانية (spatial weight sharing) مع الحفاظ على الاتصال العالمي. أجرينا تجارب على تصنيف ImageNet-1K، بالإضافة إلى مهام النمذجة التسلسلية (autoregressive modeling) على CIFAR10 وEnwik8. ونُظهر أن DAFT يحقق أداءً تنافسيًا على جميع المعايير، مع تحقيق كفاءة ممتازة في الوقت نفسه.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Transformer خالٍ من انتباه المنتج النقطي | مستندات | HyperAI