الانتباه الفعال: انتباه بتعقيدات خطية

الاهتمام بنقطة الضرب (dot-product attention) له تطبيقات واسعة في رؤية الحاسوب ومعالجة اللغة الطبيعية. ومع ذلك، فإن تكاليف الذاكرة والحساب الخاصة به تزداد بشكل مربع مع حجم المدخلات. هذا النمو يحظر استخدامه على المدخلات ذات الدقة العالية. لمعالجة هذا العيب، تقترح هذه الورقة آلية اهتمام فعالة جديدة تعادل الاهتمام بنقطة الضرب ولكن بتكاليف ذاكرة وحساب أقل بكثير. يسمح كفاءة الموارد بدمج أكبر وأكثر مرونة للوحدات الانتباهية في الشبكة، مما يؤدي إلى دقة أفضل. أظهرت التقييمات التجريبية فعالية مزاياها. جلبت الوحدات الانتباهية الفعالة زيادة كبيرة في الأداء للمكتشفات الكائنات ومجزئات الحالات على مجموعة بيانات MS-COCO 2017. علاوة على ذلك، فإن كفاءة الموارد تعمم الاهتمام إلى النماذج المعقدة، حيث تحظر التكاليف المرتفعة استخدام الاهتمام بنقطة الضرب. كمثال، حقق نموذج مع اهتمام فعال أفضل دقاقات معايير الأداء لتقدير العمق الاستريو على مجموعة بيانات Scene Flow. يمكن الحصول على الرمز البرمجي من https://github.com/cmsflash/efficient-attention.