HyperAIHyperAI

Command Palette

Search for a command to run...

MemoNet: تذكّر تمثيلات جميع السمات المتقاطعة بكفاءة من خلال شبكة مُدونة متعددة التجزئة لتنبؤ CTR

Pengtao Zhang Junlin Zhang

الملخص

أظهرت نتائج جديدة في معالجة اللغة الطبيعية (NLP) أن القدرة القوية على التذكّر تُسهم بشكل كبير في نجاح النماذج اللغوية الكبيرة (LLM). وقد حفّز هذا الابتكار على إدخال آلية ذاكرة مستقلة صراحةً في نموذج ترتيب التحويل (CTR) لتعلم وحفظ تمثيلات الميزات المتقاطعة. في هذه الورقة، نقترح شبكة كودبووك متعددة الهش (HCNet) كآلية ذاكرة لتعلم وحفظ تمثيلات الميزات المتقاطعة بكفاءة في مهام التحويل (CTR). تعتمد HCNet على كودبووك متعدد الهش كمكان رئيسي للذاكرة، وتتكوّن العملية الكاملة للذاكرة من ثلاث مراحل: عنوان الهش المتعدد، واسترجاع الذاكرة، وتصغير الميزة. كما نقترح نموذجًا جديدًا لـ CTR يُدعى MemoNet، الذي يدمج HCNet مع هيكل أساسي من شبكة عصبونية عميقة (DNN). أظهرت النتائج التجريبية الواسعة على ثلاث مجموعات بيانات عامة واختبارات مباشرة عبر الإنترنت أن MemoNet يحقق أداءً متفوقًا مقارنةً بأفضل النماذج الحالية. بالإضافة إلى ذلك، يُظهر MemoNet قانون التوسع المميز للنماذج اللغوية الكبيرة في مجال NLP، ما يعني أنه يمكن توسيع حجم كودبووك HCNet بشكل مستمر للحصول على تحسينات أداء مستمرة. تُبرز أبحاثنا الأهمية والقابلية للتنفيذ لتعلم وحفظ تمثيلات الميزات المتقاطعة، مما يفتح طريقًا بحثيًا واعدًا جديدًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp