HyperAIHyperAI

Command Palette

Search for a command to run...

ركّز انتباهك (مع مرشحات IIR التكيفية)

Shahar Lutati Itamar Zimerman Lior Wolf

الملخص

نقدم طبقة جديدة تُستخدم فيها مرشحات ذات استجابة دفعية لانهائية (IIR) ديناميكية (أي تعتمد على المدخلات) من الدرجة الثانية لمعالجة التسلسل المدخل قبل تطبيق الانتباه التقليدي. يُقسم المدخل إلى كتل، وتُحدد معاملات هذه المرشحات بناءً على الكتل السابقة لضمان التأثير السببي. وعلى الرغم من درجتها المنخفضة نسبيًا، تُظهر المرشحات المتكيفة السببية قدرة على توجيه الانتباه نحو العناصر ذات الصلة في التسلسل. وتُبنى الطبقة الجديدة على نظرية التحكم، وتم إثبات قدرتها على التعميم على الطبقات ذات الحالة القطرية. وتُظهر الطبقة أداءً يوازي أفضل الشبكات الحالية، مع عدد محدود جدًا من المعاملات، ومع تعقيد زمني أقل من التربيعية بالنسبة لحجم المدخل. وتمتلك الطبقة ميزة مقارنةً بطبقات مثل Heyna وGPT2 وMega، من حيث عدد المعاملات، وكذلك من حيث مستوى الأداء المُحقَّق في مشاكل متعددة للتسلسلات طويلة المدى.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
ركّز انتباهك (مع مرشحات IIR التكيفية) | مستندات | HyperAI