التوافق الدلالي كمشكلة نقل مثالي

إرساء تطابق كثيف بين صور ذات معاني مشابهة يُعد مهمة صعبة. نظرًا للتباين الكبير داخل الفئة والازدحام الخلفي، تظهر مشكلتان شائعتان في الأساليب الحالية. أولاً، يتم تعيين العديد من البكسلات في صورة المصدر إلى بكسل واحد في الصورة الهدف، أي تطابق من كثير إلى واحد. ثانيًا، يتم تعيين بعض بكسلات الكائنات إلى بكسلات الخلفية، أي تطابق خلفي. نحل المشكلة الأولى من خلال التطابق المميز العالمي، الذي يُحسّن الترابطات الإجمالية للتطابق بين الصور للحصول على مصفوفة تطابق مثلى عالميًا. ونفرض قيودًا على مجموع الصفوف ومجموع الأعمدة في مصفوفة التطابق لتشجيع حل متوازن، وبالتالي تقليل ظاهرة التطابق من كثير إلى واحد. نحل المشكلة الثانية من خلال تطبيق دالة درجات (staircase function) على خرائط التنشيط الفئوي لإعادة توزيع أهمية البكسلات على أربع مستويات، من المقدمة إلى الخلفية. يتم دمج العملية بأكملها في خوارزمية نقل مثلى موحدة من خلال تحويل مسألة التحسين إلى صيغة نقل مثلى، ودمج الأوزان الدرجية كتوزيعات تجريبية داخل خوارزمية النقل المثلى. تحقق الخوارزمية المقترحة أداءً متفوقًا على أربع مجموعات بيانات معيارية. وتجدر الإشارة إلى تحقيق تحسن نسبي قدره 26% على مجموعة بيانات SPair-71k الكبيرة النطاق.