Command Palette
Search for a command to run...
MemoNet: تذكّر تمثيلات جميع السمات المتقاطعة بكفاءة من خلال شبكة مُدونة متعددة التجزئة لتنبؤ CTR
MemoNet: تذكّر تمثيلات جميع السمات المتقاطعة بكفاءة من خلال شبكة مُدونة متعددة التجزئة لتنبؤ CTR
Pengtao Zhang Junlin Zhang
الملخص
أظهرت نتائج جديدة في معالجة اللغة الطبيعية (NLP) أن القدرة القوية على التذكّر تُسهم بشكل كبير في نجاح النماذج اللغوية الكبيرة (LLM). وقد حفّز هذا الابتكار على إدخال آلية ذاكرة مستقلة صراحةً في نموذج ترتيب التحويل (CTR) لتعلم وحفظ تمثيلات الميزات المتقاطعة. في هذه الورقة، نقترح شبكة كودبووك متعددة الهش (HCNet) كآلية ذاكرة لتعلم وحفظ تمثيلات الميزات المتقاطعة بكفاءة في مهام التحويل (CTR). تعتمد HCNet على كودبووك متعدد الهش كمكان رئيسي للذاكرة، وتتكوّن العملية الكاملة للذاكرة من ثلاث مراحل: عنوان الهش المتعدد، واسترجاع الذاكرة، وتصغير الميزة. كما نقترح نموذجًا جديدًا لـ CTR يُدعى MemoNet، الذي يدمج HCNet مع هيكل أساسي من شبكة عصبونية عميقة (DNN). أظهرت النتائج التجريبية الواسعة على ثلاث مجموعات بيانات عامة واختبارات مباشرة عبر الإنترنت أن MemoNet يحقق أداءً متفوقًا مقارنةً بأفضل النماذج الحالية. بالإضافة إلى ذلك، يُظهر MemoNet قانون التوسع المميز للنماذج اللغوية الكبيرة في مجال NLP، ما يعني أنه يمكن توسيع حجم كودبووك HCNet بشكل مستمر للحصول على تحسينات أداء مستمرة. تُبرز أبحاثنا الأهمية والقابلية للتنفيذ لتعلم وحفظ تمثيلات الميزات المتقاطعة، مما يفتح طريقًا بحثيًا واعدًا جديدًا.