إصلاح: الترتيب الارتباطي واستبدال النصف المضطرب مع الذاكرة للمراسلات المضطربة

وجود الضوضاء في البيانات المكتسبة يؤدي حتماً إلى تدهور الأداء في مطابقة الأنظمة المتعددة الأوضاع (الأنظمة متعددة الوسائط). للأسف، الحصول على تسميات دقيقة في مجال الأنظمة المتعددة الأوضاع هو أمر مكلف، مما دفع بعض الطرق لمعالجة مشكلة عدم التطابق بين أزواج البيانات في سياقات مطابقة الأنظمة المتعددة الأوضاع، والتي تُعرف بالمراسلات الضوضائية (noisy correspondence). ومع ذلك، فإن معظم هذه الطرق الموجودة تعاني من القيود التالية: أ) مشكلة تراكم الخطأ الذاتي التعزيز، وب) معالجة غير صحيحة لأزواج البيانات الضوضائية. لحل هذين المشكلتين، نقترح إطاراً عاماً يُطلق عليه اسم الإصلاح المرتبط بالترتيب والتبديل النصفي لأزواج البيانات الضوضائية مع الذاكرة (Rank corrElation and noisy Pair hAlf-replacing wIth memoRy - REPAIR)، والذي يستفيد من الحفاظ على بنك ذاكرة للخصائص (الميزات) للأزواج المتطابقة. بصفة خاصة، نقوم بحساب المسافات بين الخصائص في بنك الذاكرة وتلك الخاصة بالأزواج المستهدفة لكل وضعية على حدة، ونستخدم ارتباط الرتبة لهذه المجموعتين من المسافات لتقدير التسمية المرتبطة الناعمة للأزواج المستهدفة. تقدير التوافق الناعم استنادًا إلى خصائص بنك الذاكرة بدلاً من استخدام شبكة التشابه يمكن أن يتجنب تراكم الأخطاء بسبب تحديدات الشبكة الخاطئة.بالنسبة للأزواج التي تكون غير متطابقة تماماً، يقوم الإطار REPAIR بالبحث في بنك الذاكرة عن الخاصية الأكثر توافقًا لاستبدال خاصية واحدة من وضعية واحدة، بدلاً من استخدام الزوج الأصلي مباشرة أو التخلص فقط من الزوج غير المتطابق. نجري التجارب على ثلاثة مجموعات بيانات متعددة الوسائط هي Flickr30K وMSCOCO وCC152K، مما يثبت فعالية وإحكام الإطار REPAIR في التعامل مع الضوضاء الصناعية والضوضاء الواقعية.