الماكينات العصبية للتحليل النسبي في التحليل التنبؤي النادر

تتطلب العديد من المهام التنبؤية لتطبيقات الويب نمذجة المتغيرات الفئوية، مثل معرفات المستخدمين والخصائص الديموغرافية مثل الجنس والمهنة. لتطبيق تقنيات التعلم الآلي القياسية، يتم دائمًا تحويل هذه المتغيرات الفئوية إلى مجموعة من الخصائص الثنائية عبر الترميز ذو الأحادي الساخن (One-Hot Encoding)، مما يجعل المتجه الخاص بالخصائص شديد الندرة. لتحقيق التعلم الفعال من بيانات شديدة الندرة، من الضروري مراعاة التفاعلات بين الخصائص.آلات العوامل (Factorization Machines - FMs) هي حل شائع لاستخدام التفاعلات الخاصة بالخصائص من الدرجة الثانية بكفاءة. ومع ذلك، فإن نماذج آلات العوامل تتعامل مع التفاعلات بشكل خطي، مما يمكن أن يكون غير كافٍ لتقاطع الهيكل الداخلي غير الخطي والمعقد للبيانات الحقيقية. بينما تم تطبيق الشبكات العصبية العميقة مؤخرًا في الصناعة لتعلم التفاعلات غير الخطية بين الخصائص، مثل Wide&Deep من جوجل وDeepCross من مايكروسوفت، فإن البنية العميقة تجعلها صعبة التدريب.في هذا البحث، نقترح نموذجًا جديدًا يُسمى آلة العوامل العصبية (Neural Factorization Machine - NFM) للتنبؤ في بيئات شديدة الندرة. يجمع NFM بسلاسة بين خطية آلة العوامل في نمذجة التفاعلات الخاصة بالخصائص من الدرجة الثانية وغير خطية الشبكة العصبية في نمذجة التفاعلات الخاصة بالخصائص من الدرجات الأعلى. بمفهومه العام، يعتبر NFM أكثر تعبيرًا عن البيانات من آلة العوامل لأن آلة العوامل يمكن اعتبارها حالة خاصة من NFM بدون طبقات خفية. أظهرت النتائج التجريبية على مهمتين للانحدار أن NFM مع طبقة خفية واحدة فقط يتفوق بشكل كبير على آلة العوامل بنسبة تحسين نسبية تبلغ 7.3%. مقارنةً بالطرق الحديثة للتعلم العميق مثل Wide&Deep وDeepCross، يستخدم NFM بنية أعمق ولكن يقدم أداءً أفضل ويكون أسهل بكثير في التدريب والتuning عمليًا.