HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه الفعال: انتباه بتعقيدات خطية

الملخص

الاهتمام بنقطة الضرب (dot-product attention) له تطبيقات واسعة في رؤية الحاسوب ومعالجة اللغة الطبيعية. ومع ذلك، فإن تكاليف الذاكرة والحساب الخاصة به تزداد بشكل مربع مع حجم المدخلات. هذا النمو يحظر استخدامه على المدخلات ذات الدقة العالية. لمعالجة هذا العيب، تقترح هذه الورقة آلية اهتمام فعالة جديدة تعادل الاهتمام بنقطة الضرب ولكن بتكاليف ذاكرة وحساب أقل بكثير. يسمح كفاءة الموارد بدمج أكبر وأكثر مرونة للوحدات الانتباهية في الشبكة، مما يؤدي إلى دقة أفضل. أظهرت التقييمات التجريبية فعالية مزاياها. جلبت الوحدات الانتباهية الفعالة زيادة كبيرة في الأداء للمكتشفات الكائنات ومجزئات الحالات على مجموعة بيانات MS-COCO 2017. علاوة على ذلك، فإن كفاءة الموارد تعمم الاهتمام إلى النماذج المعقدة، حيث تحظر التكاليف المرتفعة استخدام الاهتمام بنقطة الضرب. كمثال، حقق نموذج مع اهتمام فعال أفضل دقاقات معايير الأداء لتقدير العمق الاستريو على مجموعة بيانات Scene Flow. يمكن الحصول على الرمز البرمجي من https://github.com/cmsflash/efficient-attention.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp