MMBAttn: الانتباه الأقصى-المتوسط والانتباه البِتِّي لتنبؤ CTR

مع التزايد المستمر في التعقيد والحجم المتعلق بمهام تنبؤ معدل النقر (CTR) في أنظمة الإعلانات عبر الإنترنت وأنظمة التوصية، أصبح تحديد أهمية الميزات بدقة جزءًا حاسمًا في تطوير نماذج فعالة. في هذه الورقة، نقترح منهجية تعتمد على الانتباه (attention) تستخدم عمليات التجميع الأقصى (max pooling) والمعظم (mean pooling) إلى جانب آلية انتباه ثنائية (bit-wise attention) لتعزيز تقدير أهمية الميزات في تنبؤ معدل النقر. وبشكل تقليدي، تم استخدام عمليات التجميع مثل التجميع الأقصى والتجميع المتوسط على نطاق واسع لاستخراج المعلومات ذات الصلة من الميزات. ومع ذلك، قد تؤدي هذه العمليات إلى فقدان المعلومات وتعيق تحديد دقيق لقيمة أهمية الميزات. وللتغلب على هذه التحديات، نقترح معمارية انتباه جديدة تعتمد على هيكل انتباه مبني على البتات (bit-based attention)، يركّز على العلاقات بين جميع البتات داخل الميزات، إلى جانب عمليات التجميع الأقصى والمتوسط. وباعتبار التفاعلات الدقيقة على مستوى البت، تهدف طريقةنا إلى اكتشاف الأنماط المعقدة والاعتماديات التي قد تُهملها عمليات التجميع التقليدية. ولتقييم فعالية المنهجية المقترحة، أُجريت تجارب على ثلاث مجموعات بيانات عامة. وأظهرت النتائج أن المنهجية المقترحة تحسّن بشكل ملحوظ أداء النماذج الأساسية، مما يحقق نتائج متقدمة على مستوى الحد الأقصى (state-of-the-art).