HyperAIHyperAI

Command Palette

Search for a command to run...

آليات الانتباه النادرة والمستمرة

André F. T. Martins António Farinhas Marcos Treviso Vlad Niculae Pedro M. Q. Aguiar Mário A. T. Figueiredo

الملخص

تُستخدم العائلات الأسية على نطاق واسع في التعلم الآلي؛ فهي تشمل العديد من التوزيعات في المجالات المستمرة والمنفصلة (مثل التوزيعات الغاوسية، والديريكل، والبواسون، والتوزيعات الفئوية عبر تحويل السوفتماكس). تتميز التوزيعات في كل من هذه العائلات بدعم ثابت. في المقابل، ظهرت في الآونة الأخيرة أعمال بحثية حول بدائل مُتفرّقة لـ softmax في المجالات المنتهية (مثل sparsemax وalpha-entmax)، والتي تتميز بدعم متغير، وتمكّن من تعيين احتمال صفر للتبويبات غير ذات صلة. يوسع هذا البحث العمل السابق في اتجاهين: أولاً، نُوسع تطبيق alpha-entmax ليشمل المجالات المستمرة، مما يكشف عن علاقة مع إحصاءات تساليس وعائلات أسية مُتعدّية التحريف. ثانيًا، نقدّم آليات انتباه في المجالات المستمرة، ونُشتق خوارزميات فعّالة للارتداد التدرجي (backpropagation) للحصول على القيم الممكنة لـ alpha في المجموعة {1,2}. وتُظهر التجارب التي أُجريت على تصنيف النصوص القائمة على الانتباه، والترجمة الآلية، والإجابة على الأسئلة البصرية، استخدام الانتباه المستمر في الأبعاد الواحدة والاثنين، مبينةً قدرته على التركيز على فترات زمنية ومناطق متراصة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
آليات الانتباه النادرة والمستمرة | مستندات | HyperAI