ركّز انتباهك (مع مرشحات IIR التكيفية)

نقدم طبقة جديدة تُستخدم فيها مرشحات ذات استجابة دفعية لانهائية (IIR) ديناميكية (أي تعتمد على المدخلات) من الدرجة الثانية لمعالجة التسلسل المدخل قبل تطبيق الانتباه التقليدي. يُقسم المدخل إلى كتل، وتُحدد معاملات هذه المرشحات بناءً على الكتل السابقة لضمان التأثير السببي. وعلى الرغم من درجتها المنخفضة نسبيًا، تُظهر المرشحات المتكيفة السببية قدرة على توجيه الانتباه نحو العناصر ذات الصلة في التسلسل. وتُبنى الطبقة الجديدة على نظرية التحكم، وتم إثبات قدرتها على التعميم على الطبقات ذات الحالة القطرية. وتُظهر الطبقة أداءً يوازي أفضل الشبكات الحالية، مع عدد محدود جدًا من المعاملات، ومع تعقيد زمني أقل من التربيعية بالنسبة لحجم المدخل. وتمتلك الطبقة ميزة مقارنةً بطبقات مثل Heyna وGPT2 وMega، من حيث عدد المعاملات، وكذلك من حيث مستوى الأداء المُحقَّق في مشاكل متعددة للتسلسلات طويلة المدى.