تحفيز استقرائي واعٍ للترشيح التسلسلي ما وراء الانتباه الذاتي

نجحت نماذج التوصية المتسلسلة (SR) المستندة إلى Transformers بشكل ملحوظ. يعاني آلية الانتباه الذاتي في Transformers في مجالات معالجة الرؤية الحاسوبية واللغة الطبيعية من مشكلة التسطيح المفرط، أي أن تمثيلات الخلفية تصبح متشابهة جدًا مع الرموز (tokens). في مجال التوصية المتسلسلة، نُظهر لأول مرة أن نفس المشكلة تحدث. نقدم دراسات رائدة كشفت عن الطبيعة التصفية منخفضة التردد (low-pass filtering) لآلية الانتباه الذاتي في التوصية المتسلسلة، والتي تُسبب التسطيح المفرط. ولحل هذه المشكلة، نقترح طريقة جديدة تُسمى BSARec (Beyond Self-Attention for Sequential Recom mendation)، والتي تستخدم تحويل فورييه لـ: (أ) إدخال تحيّز استنتاجي من خلال أخذ الأنماط التسلسلية الدقيقة بعين الاعتبار، و(ب) دمج المعلومات ذات التردد المنخفض والمرتفع لتقليل ظاهرة التسطيح المفرط. تُظهر اكتشافاتنا تقدمًا كبيرًا في مجال التوصية المتسلسلة، ونأمل أن تسد الفجوة في النماذج الحالية المستندة إلى Transformers. تم اختبار النهج المقترح من خلال تجارب واسعة على 6 مجموعات بيانات معيارية. أظهرت النتائج التجريبية أن نموذجنا يتفوق على 7 طرق أساسية من حيث أداء التوصية. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/yehjin-shin/BSARec.