التطابق العميق المسبق: التحسين في وقت الاختبار للمراسلات الكثيفة

الأساليب التقليدية لتأسيس تطابقات كثيفة بين الصور المرئية أو الدلالية المتشابهة ركزت على تصميم مسبقة التطابق الخاصة بالمهمة، والتي تكون صعبة النمذجة. لتجاوز هذا العائق، حاولت الأساليب الحديثة القائمة على التعلم تعلم مسبقة التطابق الجيدة داخل نموذج ذاته باستخدام بيانات تدريب كبيرة. كانت تحسينات الأداء واضحة، ولكن الحاجة إلى بيانات تدريب كافية وتعلم مكثف تحول دون قابلية التطبيق الواسعة لهذه الأساليب. بالإضافة إلى ذلك، استخدام النموذج الثابت في وقت الاختبار لا يأخذ بعين الاعتبار حقيقة أن زوجًا من الصور قد يحتاج إلى مسبقة خاصة بهما، مما يؤدي إلى أداء محدود وتعميم ضعيف للصور غير المعروفة.في هذه الورقة البحثية، نوضح أنه يمكن التقاط مسبقة التطابق الخاصة بزوج الصور من خلال تحسين شبكات التطابق غير المدربة فقط على زوج صور الإدخال. ومن أجل تحقيق هذا التحسين في وقت الاختبار لتطابقات كثيفة، نقدم شبكة تطابق متبقية (Residual Matching Network) وخسارة مقترنة واعية بالثقة (Confidence-Aware Contrastive Loss) لضمان التقارب ذي المعنى. تظهر التجارب أن إطارنا العمل، الذي أطلق عليه اسم Deep Matching Prior (DMP)، يكون تنافسيًا أو حتى أفضل من أحدث الأساليب القائمة على التعلم في عدة مقاييس لتتطابق الهندسية والدلالية، رغم أنه لا يحتاج إلى بيانات تدريب كبيرة ولا إلى تعلم مكثف. ومع شبكات تم تعليمها بشكل أولي، يصل DMP إلى أفضل الأداء في جميع المقاييس.