AutoInt: تعلم التفاعلات بين الخصائص تلقائيًا عبر شبكات عصبية ذاتية الانتباه

تنبؤ معدل النقرات (CTR)، الذي يهدف إلى تنبؤ احتمالية نقر المستخدم على إعلان أو عنصر، يعد أمرًا حاسمًا للكثير من التطبيقات عبر الإنترنت مثل الإعلانات الإلكترونية وأنظمة التوصية. يعتبر هذا المشكلة تحديًا كبيرًا نظرًا إلى أن (1) الخصائص المدخلة (مثل معرف المستخدم، عمر المستخدم، معرف العنصر، فئة العنصر) تكون عادةً نادرة وكثيرة الأبعاد، و(2) القدرة على التنبؤ بشكل فعال تعتمد على خصائص تركيبية من الرتب العليا (\textit{أو ما يعرف بـ} الخصائص المتقاطعة)، والتي تستغرق وقتًا طويلًا لتصميمها يدويًا من قبل الخبراء في المجال ولا يمكن تعدادها. لذلك، تم بذل جهود للعثور على تمثيلات ذات أبعاد منخفضة للخصائص الأولية النادرة والكثيرة الأبعاد وللمجموعات المعنى لها. في هذه الورقة البحثية، نقترح طريقة فعالة وكفوءة تسمى \emph{AutoInt} لتعلم التفاعلات بين الخصائص ذات الرتب العليا بشكل آلي. خوارزميتنا المقترحة هي عامة للغاية ويمكن تطبيقها على الخصائص المدخلة العددية والتصنيفية على حد سواء. تحديدًا، نقوم بتخريج كلتا النوعين من الخصائص إلى نفس الفضاء ذي الأبعاد المنخفضة. بعد ذلك، يتم اقتراح شبكة عصبونية ذات انتباه متعدد الرؤوس مع اتصالات باقية لنمذجة التفاعلات بين الخصائص في الفضاء ذي الأبعاد المنخفضة بشكل صريح. باستخدام طبقات مختلفة من الشبكات العصبونية ذات الانتباه المتعدد الرؤوس، يمكن نمذجة مجموعات مختلفة من الرتب بين الخصائص المدخلة. يمكن تناسب النموذج بأكمله بكفاءة مع بيانات أولية كبيرة الحجم بطريقة شاملة من البداية إلى النهاية. أظهرت نتائج التجارب على أربع قواعد بيانات حقيقية أن أسلوبنا المقترح ليس فقط يتفوق على الأساليب الحالية الأكثر تقدمًا في مجال التنبؤ بل يقدم أيضًا قابلية للتفسير الجيدة. الكود متاح في: \url{https://github.com/DeepGraphLearning/RecommenderSystems}.