الاسترجاع عبر الوسائط مع التطبيع الخاص بقاعدة الاستعلامات

بفضل البيانات التدريبية الضخمة، والتقدّم في تصميم الهياكل العصبية، والاستنتاج الفعّال، أصبحت التضمينات المشتركة الطريقة السائدة لمعالجة استرجاع البيانات عبر الوسائط المختلفة. في هذا العمل، نُظهر أولًا أنّ التضمينات المشتركة الحديثة، رغم فعاليتها، تعاني بشكل كبير من مشكلة "المركزية" (hubness) التي تعود إلى عقود، حيث تُشكّل عدد قليل من التضمينات في مجموعة المعرض (gallery) جيرانًا أقرب لعدد كبير من الاستعلامات (queries). مستلهمين من الأدبيات المتعلقة معالجة اللغة الطبيعية (NLP)، نُقدّم إطارًا بسيطًا ولكن فعّالًا يُسمّى "تصحيح الاستعلام (Querybank Normalisation - QB-Norm)"، والذي يُعيد تطبيع تشابه الاستعلامات ليعالج ظاهرة المراكز في فضاء التضمينات. يُحسّن QB-Norm أداء الاسترجاع دون الحاجة إلى إعادة التدريب. على عكس الدراسات السابقة، نُظهر أن QB-Norm يعمل بكفاءة دون الحاجة إلى الوصول المُتزامن إلى أي استعلامات من مجموعة الاختبار. ضمن إطار QB-Norm، نُقدّم أيضًا طريقة جديدة لتطبيع التشابه تُسمّى "الدالة الأسية العكسية الديناميكية (Dynamic Inverted Softmax)"، والتي تُعدّ أكثر مقاومةً من الطرق الحالية بشكل ملحوظ. نُظهر فعالية QB-Norm عبر مجموعة متنوعة من نماذج استرجاع البيانات عبر الوسائط والاختبارات (benchmarks)، حيث يُحسّن باستمرار النماذج القوية فوق المستوى المتقدم. يمكن الوصول إلى الكود عبر الرابط: https://vladbogo.github.io/QB-Norm/.