OptEmbed: تعلُّم جدول التضمين المثالي لتنبؤ معدل النقر

تلعب جدول التضمين (embedding table) دورًا أساسيًا في توقع معدل النقر (Click-through Rate - CTR) من منظور أداء النموذج واستهلاك الذاكرة. يُعد جدول التضمين تمثيلًا ثنائي الأبعاد (tensor)، حيث تمثل المحاور المختلفة عدد قيم الميزات وأبعاد التضمين على التوالي. ولتحقيق جدول تضمين فعّال وفعال، اعتمدت الدراسات الحديثة إما على تخصيص أبعاد تضمين مختلفة لكل مجال ميزة وتقليل عدد التضمينات بشكل منفصل، أو على تمرير (ماسك) معاملات جدول التضمين. ومع ذلك، فإن جميع هذه الطرق الحالية لا تُنتج جدول تضمين مثالي. من ناحية، لا يزال تخصيص أبعاد تضمين متفاوتة يتطلب كمية كبيرة من الذاكرة بسبب العدد الهائل من الميزات في البيانات. ومن ناحية أخرى، يؤدي تقليل عدد التضمينات عادةً إلى تدهور في الأداء، وهو أمر غير مقبول في توقعات معدل النقر. وأخيرًا، يؤدي إزالة معاملات التضمين (pruning) إلى توليد جدول تضمين شديد التفرع (sparse)، مما يجعل تطبيقه صعبًا في البيئات العملية. ولحل هذه التحديات، نقترح إطارًا جديدًا يُسمى OptEmbed، يُقدّم طريقة عملية وعامة للعثور على جدول تضمين مثالي يناسب مختلف النماذج الأساسية لتوقع معدل النقر. وبشكل محدد، نقترح إزالة التضمينات الزائدة بناءً على أهمية الميزات المرتبطة بها، باستخدام عتبات إزالة قابلة للتعلم. علاوة على ذلك، ننظر إلى تخصيص أبعاد تضمين مختلفة كمخطط معياري واحد. ولتمكين البحث الفعّال عن الأبعاد المثلى للتضمين، نصمم خطة عينة موحدة لاختيار أبعاد التضمين، بحيث يتم تدريب جميع المخططات المرشحة بشكل متساوٍ، ما يعني تدريب المعاملات المرتبطة بالمخطط (architecture-related parameters) والعُتبات القابلة للتعلم في نفس الوقت ضمن شبكة فائقة واحدة (supernet). ثم نقترح طريقة بحث تطورية قائمة على الشبكة الفائقة لتحديد الأبعاد المثلى للتضمين لكل مجال ميزة. وأظهرت التجارب على مجموعات بيانات عامة أن OptEmbed قادر على تعلم جدول تضمين مدمج (compact) يُسهم بتحسين إضافي لأداء النموذج.