HyperAIHyperAI

Command Palette

Search for a command to run...

ذاكرة عابرة للدُفعات لتعلم التضمين

Xun Wang Haozhi Zhang Weilin Huang Matthew R. Scott

الملخص

تلعب عملية استخراج الأمثلة السلبية المفيدة دورًا محوريًا في التعلم القياسي العميق (DML)، ومع ذلك فإن هذه المهمة محدودة بطبيعتها بسبب التدريب على الحزم الصغيرة (mini-batch)، حيث يكون بإمكان النموذج الوصول إلى مجموعة صغيرة من الأمثلة فقط في كل تكرار. في هذه الورقة، نحدد ظاهرة "الانزلاق البطيء" (slow drift) من خلال ملاحظة أن ميزات التضمين (embedding features) تتحرك ببطء شديد حتى أثناء تحديث معاملات النموذج طوال عملية التدريب. ويُشير هذا إلى إمكانية استخدام ميزات الأمثلة المحسوبة في التكرارات السابقة لتقريب ميزات تلك الأمثلة المُستخرجة بواسطة النموذج الحالي بشكل كبير. نقترح آلية ذاكرة عبر الحزم (Cross-Batch Memory - XBM) تُخزن تضمينات التكرارات السابقة، مما يسمح للنموذج بجمع أزواج سلبية صعبة كافية عبر عدة حزم صغيرة — حتى على مدى المجموعة الكاملة للبيانات. يمكن دمج XBM مباشرة في إطار عام يعتمد على أزواج (pair-based DML)، حيث يُعزز التعلم القياسي المُحسّن بـ XBM من الأداء بشكل ملحوظ. وبشكل خاص، وبلا أي إضافات معقدة، يمكن لخسارة التباين البسيطة مع XBM أن تحقق تحسينات كبيرة في القيمة R@1 تتراوح بين 12% إلى 22.5% على ثلاث مجموعات بيانات كبيرة لاسترجاع الصور، متفوقةً على أكثر الطرق المتقدمة حديثًا بشكل كبير. تتميز XBM بمفهومها البسيط، وسهولة التنفيذ (باستخدام بضع سطور من الكود)، وفعاليتها من حيث استخدام الذاكرة (باستهلاك إضافي ضئيل لا يتجاوز 0.2 جيجابايت من ذاكرة GPU). يمكن الاطلاع على الكود عبر الرابط التالي: https://github.com/MalongTech/research-xbm.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp