التعلم الممثّل الجزئي المُتماشي مع الرؤية باستخدام خسارة تباينية مقاومة للضوضاء

في التطبيقات الواقعية، من الشائع أن تكون فقط جزء من البيانات مُحاذاة بين المنظورات المختلفة نظرًا لعدم التزامن المكاني أو الزمني أو المكاني-الزمني، مما يؤدي إلى ما يُعرف بمشكلة المحاذاة الجزئية للمنظورات (PVP). ولحل هذه المشكلة التي لم تُعالج بشكل كافٍ دون الحاجة إلى بيانات مُعلَّمة، نقترح تعلم التمثيل ومحاذاة البيانات في آن واحد باستخدام خسارة تباين مقاومة للضوضاء. باختصار، يهدف منهجنا، بالنسبة لكل عينة من منظور معين، إلى تحديد أزواجها داخل الفئة من المنظورات الأخرى، وبالتالي يمكن إقامة تقابل بين المنظورات. وبما أن التعلم التبايني يحتاج إلى أزواج بيانات كمدخلات، فإننا نُنشئ أزواجًا إيجابية باستخدام التقابلات المعروفة، وأزواجًا سلبية باستخدام أخذ عينات عشوائية. ولتخفيف تأثير أو حتى القضاء على تأثير الأزواج السلبية الخاطئة الناتجة عن أخذ العينات العشوائية، نقترح خسارة تباين مقاومة للضوضاء، والتي يمكنها التكيّف لمنع الأزواج السلبية الخاطئة من السيطرة على عملية تحسين الشبكة. على عكس خوارزمية هنغارية ومشتقاتها، يهدف حلنا لمشكلة PVP إلى تحقيق محاذاة على مستوى الفئة بدلًا من مستوى المثيل. وبفضل سهولة الوصول وقابلية التوسع الأعلى لمحاذاة مستوى الفئة، يُعد هذا الخيار أكثر رغبةً في المهام مثل التجميع والتصنيف. وبالإضافة إلى ذلك، وفقًا لأفضل معرفتنا، قد يكون هذا أول محاولة ناجحة في تمكين التعلم التبايني من مقاومة التسميات الضوضائية. تُظهر التجارب الواسعة أداءً واعدًا لمنهجنا مقارنةً بـ 10 من أحدث الأساليب متعددة المنظورات في مهام التجميع والتصنيف.