HyperAIHyperAI
منذ 7 أيام

خسارة التباعد التباعي القابلة للتوسع للترشيح التسلسلي مع كتالوجات كبيرة من العناصر

Gleb Mezentsev, Danil Gusak, Ivan Oseledets, Evgeny Frolov
خسارة التباعد التباعي القابلة للتوسع للترشيح التسلسلي مع كتالوجات كبيرة من العناصر
الملخص

تُعد مشكلة القابلية للتوسع (Scalability issue) عنصراً محورياً في تطوير أنظمة التوصية الحديثة للإنتاج. حتى المعمارية الخفيفة قد تعاني من عبء حسابي عالٍ ناتج عن العمليات الوسيطة، مما يحد من جدواها في التطبيقات الواقعية. بشكل خاص، فإن تطبيق خسارة التردد الكامل (Full Cross-Entropy, CE) يُحقق عادةً أفضل الأداء من حيث جودة التوصيات. ومع ذلك، فإنها تعاني من استهلاك مفرط لذاكرة وحدة معالجة الرسومات (GPU) عند التعامل مع كتالوجات منتجات كبيرة. تقدم هذه الورقة وظيفة خسارة جديدة تُسمى "الخسارة العكسية القابلة للتوسع" (Scalable Cross-Entropy, SCE) ضمن إطار التعلم التسلسلي. وتُعدّ هذه الوظيفة تقريباً للخسارة العكسية (CE) في حالات البيانات ذات الكتالوجات الكبيرة، مما يحسن كلاً من الكفاءة الزمنية واستهلاك الذاكرة دون التضحية بجودة التوصيات. على عكس طرق العينة السلبية التقليدية، يستخدم نهجنا استراتيجية حسابية مختارة وفعالة من حيث استخدام GPU، وتُركّز على العناصر الأكثر إفادة في الكتالوج، خصوصاً تلك التي تُعدّ الأكثر احتمالاً لتكون إجابات خاطئة (False Positives). ويتم تحقيق ذلك من خلال تقريب توزيع سويفت (softmax) على مجموعة جزئية من إخراجات النموذج باستخدام تقنية البحث عن أقصى جداء داخلي (Maximum Inner Product Search). أظهرت النتائج التجريبية على عدة مجموعات بيانات فعالية SCE في تقليل الاستهلاك القصوى للذاكرة بنسبة تصل إلى 100 مرة مقارنة بالبدائل، مع الحفاظ على القيم المترية أو تجاوزها. كما تُفتح هذه الطريقة آفاقاً جديدة للتطوير على نطاق واسع في مجالات مختلفة، مثل النماذج اللغوية الكبيرة.

خسارة التباعد التباعي القابلة للتوسع للترشيح التسلسلي مع كتالوجات كبيرة من العناصر | أحدث الأوراق البحثية | HyperAI