آليات الانتباه النادرة والمستمرة

تُستخدم العائلات الأسية على نطاق واسع في التعلم الآلي؛ فهي تشمل العديد من التوزيعات في المجالات المستمرة والمنفصلة (مثل التوزيعات الغاوسية، والديريكل، والبواسون، والتوزيعات الفئوية عبر تحويل السوفتماكس). تتميز التوزيعات في كل من هذه العائلات بدعم ثابت. في المقابل، ظهرت في الآونة الأخيرة أعمال بحثية حول بدائل مُتفرّقة لـ softmax في المجالات المنتهية (مثل sparsemax وalpha-entmax)، والتي تتميز بدعم متغير، وتمكّن من تعيين احتمال صفر للتبويبات غير ذات صلة. يوسع هذا البحث العمل السابق في اتجاهين: أولاً، نُوسع تطبيق alpha-entmax ليشمل المجالات المستمرة، مما يكشف عن علاقة مع إحصاءات تساليس وعائلات أسية مُتعدّية التحريف. ثانيًا، نقدّم آليات انتباه في المجالات المستمرة، ونُشتق خوارزميات فعّالة للارتداد التدرجي (backpropagation) للحصول على القيم الممكنة لـ alpha في المجموعة {1,2}. وتُظهر التجارب التي أُجريت على تصنيف النصوص القائمة على الانتباه، والترجمة الآلية، والإجابة على الأسئلة البصرية، استخدام الانتباه المستمر في الأبعاد الواحدة والاثنين، مبينةً قدرته على التركيز على فترات زمنية ومناطق متراصة.