UGNCL: تعلّم التوافيق الضوضائية الموجهة بالشكّ لتطابق عابر النماذج بكفاءة

لقد اكتسبت المطابقة عبر الوسائط (Cross-modal matching) شعبية كبيرة مؤخرًا لتسهيل استرجاع البيانات متعددة الوسائط، وتعتمد الدراسات الحالية بشكل كبير على افتراض ضمني مفاده أن أزواج البيانات التدريبية مُحاذاة تمامًا. ومع ذلك، فإن هذا الافتراض المثالي يُعد أمرًا مستحيلًا إلى حد كبير نظرًا لوجود أزواج بيانات غير مُحاذاة لا مفر من حدوثها، والمعروفة بـ"التوافق الضوضائي" (noisy correspondence)، والتي يمكن أن تُجبر بشكل خاطئ الأزواج غير المُحاذاة على أن تكون مشابهة، مما يؤدي إلى تدهور الأداء. وعلى الرغم من أن بعض الطرق الحديثة حاولت معالجة هذه المشكلة، إلا أنها ما زالت تواجه تحديين جوهريين: (1) تقسيم غير موثوق للبيانات يؤدي إلى ضعف كفاءة التدريب، و(2) تنبؤ غير مستقر يسبب فشل المطابقة. ولحل هذه المشكلات، نقترح إطارًا فعّالًا يُدعى "تعلم التوافق الضوضائي الموجه بالتحوّل (Uncertainty-Guided Noisy Correspondence Learning - UGNCL)" لتحقيق مطابقة عبر وسائط مقاومة للضوضاء. وبشكل خاص، تم تصميم خوارزمية جديدة تُسمى "تقسيم موجه بالتحوّل (Uncertainty Guided Division - UGD)" بشكل موثوق، بحيث تستفيد من الفوائد المحتملة للتحوّل المستمد لتقسيم البيانات إلى ثلاث مجموعات: نظيفة، ضوضائية، وصعبة. وهذا يُمكن من تقليل تأثير أزواج الضوضاء السهلة التحديد بشكل فعّال. في الوقت نفسه، تم تصميم دالة خسارة فعّالة تُدعى "دالة الخسارة الموثوقة والقوية (Trusted Robust Loss - TRL)" بشكل صريح، لتُعيد تشكيل الحواجز اللينة (soft margins) المُعدّلة باستخدام تسميات متوافقة لينة موثوقة ولكنها خاطئة، للبيانات في المجموعة الصعبة من خلال التحوّل، ما يؤدي إلى زيادة أو تقليل أهمية الأزواج المطابقة أو غير المطابقة، وبالتالي تخفيف تأثير الأزواج الضوضائية وتحسين المقاومة. أظهرت التجارب الواسعة التي أُجريت على ثلاث مجموعات بيانات عامة تفوق الإطار المقترح، وبيّنت أداؤه التنافسي مقارنة بأفضل الطرق الحالية. يمكن الوصول إلى الكود عبر الرابط التالي: https://github.com/qxzha/UGNCL.