ContextNet: إطار لتنبؤ معدل النقر باستخدام المعلومات السياقية لتحسين تضمين الميزات

تمثّل تقدير معدل النقر (CTR) مهمة أساسية في الإعلانات المخصصة وأنظمة التوصية، كما أن من الضروري أن تتمكن نماذج الترتيب من التقاط السمات ذات الرتبة العالية المعقدة بفعالية. مستلهمين من النجاح الكبير الذي حققته نماذج ELMO وBERT في مجال معالجة اللغة الطبيعية (NLP)، والتي تقوم بتحديث تضمينات الكلمات ديناميكيًا وفقًا لمعلومات السياق في الجملة التي تظهر فيها الكلمة، نرى أنه من المهم أيضًا تحديث تضمينات كل سمة ديناميكيًا، خطوة بخطوة، وفقًا لمعلومات السياق المحتوية في المثال المدخل في مهام تقدير معدل النقر. وبهذا يمكننا التقاط التفاعلات المفيدة بين السمات بشكل فعّال لكل سمة. في هذه الورقة، نقترح إطارًا جديدًا لتقدير معدل النقر يُسمى ContextNet، والذي يُشكّل تفاعلات السمات ذات الرتبة العالية بشكل غير مباشر من خلال تحديث تضمينات كل سمة ديناميكيًا وفقًا لسياق المدخل. ويتكون ContextNet بشكل خاص من مكونين رئيسيين: وحدة التضمين السياقي (Contextual Embedding Module) ووحدة Block ContextNet. حيث تقوم وحدة التضمين السياقي بجمع معلومات السياق لكل سمة من المدخل، بينما تقوم وحدة Block ContextNet بتحديث تضمينات كل سمة خطوة بخطوة، وتحسن تمثيلها ديناميكيًا من خلال دمج معلومات التفاعل من الرتبة العالية الخاصة بالسياق في تضمينات السمات. ولجعل الإطار أكثر تحديدًا، نقترح أيضًا نموذجين (ContextNet-PFFN وContextNet-SFFN) ضمن هذا الإطار، وذلك من خلال إدخال شبكة تضمين سياقي خطية وشبكتين فرعيتين غير خطيتين للتحويل في وحدة Block ContextNet. وقد أجرينا تجارب واسعة على أربع مجموعات بيانات حقيقية، وأظهرت نتائج التجارب أن نماذجنا ContextNet-PFFN وContextNet-SFFN تتفوّق بشكل ملحوظ على النماذج الرائدة في مجالها مثل DeepFM وxDeepFM.