ذاكرة عابرة للدُفعات لتعلم التضمين

تلعب عملية استخراج الأمثلة السلبية المفيدة دورًا محوريًا في التعلم القياسي العميق (DML)، ومع ذلك فإن هذه المهمة محدودة بطبيعتها بسبب التدريب على الحزم الصغيرة (mini-batch)، حيث يكون بإمكان النموذج الوصول إلى مجموعة صغيرة من الأمثلة فقط في كل تكرار. في هذه الورقة، نحدد ظاهرة "الانزلاق البطيء" (slow drift) من خلال ملاحظة أن ميزات التضمين (embedding features) تتحرك ببطء شديد حتى أثناء تحديث معاملات النموذج طوال عملية التدريب. ويُشير هذا إلى إمكانية استخدام ميزات الأمثلة المحسوبة في التكرارات السابقة لتقريب ميزات تلك الأمثلة المُستخرجة بواسطة النموذج الحالي بشكل كبير. نقترح آلية ذاكرة عبر الحزم (Cross-Batch Memory - XBM) تُخزن تضمينات التكرارات السابقة، مما يسمح للنموذج بجمع أزواج سلبية صعبة كافية عبر عدة حزم صغيرة — حتى على مدى المجموعة الكاملة للبيانات. يمكن دمج XBM مباشرة في إطار عام يعتمد على أزواج (pair-based DML)، حيث يُعزز التعلم القياسي المُحسّن بـ XBM من الأداء بشكل ملحوظ. وبشكل خاص، وبلا أي إضافات معقدة، يمكن لخسارة التباين البسيطة مع XBM أن تحقق تحسينات كبيرة في القيمة R@1 تتراوح بين 12% إلى 22.5% على ثلاث مجموعات بيانات كبيرة لاسترجاع الصور، متفوقةً على أكثر الطرق المتقدمة حديثًا بشكل كبير. تتميز XBM بمفهومها البسيط، وسهولة التنفيذ (باستخدام بضع سطور من الكود)، وفعاليتها من حيث استخدام الذاكرة (باستهلاك إضافي ضئيل لا يتجاوز 0.2 جيجابايت من ذاكرة GPU). يمكن الاطلاع على الكود عبر الرابط التالي: https://github.com/MalongTech/research-xbm.