التعلم القائم على التشابه البصري القابل للتأييد

تُقدّم هذه الورقة إطارًا لتعلم التشابه البصري القابل للتأييد (AVSL) بهدف تحقيق قياس أكثر دقة وقابلية للتفسير للتشابه بين الصور. تعاني معظم الطرق الحالية لتعلم التشابه من زيادة عدم القدرة على التفسير، حيث يتم تحويل كل عينة إلى نقطة واحدة في الفضاء المُدمَج باستخدام مقياس للمسافة (مثل مقياس ماهالانوبيس أو مقياس أويليدية). مستوحاة من التفكير البشري في التشابه الدلالي، نقترح نموذجًا عامًا لتعلم التشابه يمثل التشابه بين صورتين من خلال رسم بياني، ثم يستنتج التشابه الكلي بناءً عليه. علاوةً على ذلك، نُنشئ إطارًا يُبنى من الأسفل إلى الأعلى لبناء التشابه، ويُطبّق من الأعلى إلى الأسفل للاستنتاج التشابهي، وذلك لاستخلاص التشابه بناءً على اتساق الهيكل الدلالي. نحدد أولًا العقد العليا غير الموثوقة للتشابه، ثم نصححها باستخدام أقرب العقد الدنيا المتناسقة، مع الحفاظ في الوقت نفسه على آثار قابلة للتتبع لتأييد التشابه. أظهرت التجارب الواسعة على مجموعات بيانات CUB-200-2011 وCars196 وStanford Online Products تحسينات كبيرة مقارنة بالطرق الحالية لتعلم التشابه العميق، وتحقق من قابلية التفسير في إطارنا. يمكن الوصول إلى الكود عبر الرابط: https://github.com/zbr17/AVSL.