تعلم الارتباطات الدلالية للكشف عن المرآة

تُعد المرآة عادةً ذات مظهر بصري غير متسق، مما يجعل كشفها تحديًا كبيرًا. وعلى الرغم من أن الدراسات الحديثة التي تعتمد على استغلال التباينات السياقية والعلاقات المقابلة قد حققت نتائج جيدة، فإن الاعتماد الشديد على هذه التباينات والعلاقات للكشف عن المرآة غالبًا ما يفشل في المشاهد الواقعية المعقدة، حيث قد تمتلك العديد من الأشياء، مثل الأبواب أو الأطواق، خصائص مشابهة للمرآة. لاحظنا أن البشر يميلون إلى وضع المرآة بعلاقة مع كائنات معينة لأغراض وظيفية محددة، مثل وضع مرآة فوق الحوض. مستوحين من هذه الملاحظة، نقترح نموذجًا لاستغلال الارتباطات الدلالية بين المرآة والكائنات المحيطة بها لتحقيق تحديد دقيق لموقع المرآة. يبدأ نموذجنا باكتساب معرفة محددة بالفئة للأشياء المحيطة من خلال مسار جانبي دلالي. ثم يستخدم نموذجين جديدين لاستغلال هذه الارتباطات: 1) وحدة استكشاف الارتباطات (AE) لاستخراج ارتباطات الكائنات في المشهد باستخدام نماذج الرسوم البيانية الكاملة الاتصال، و2) وحدة الرسم البياني الرباعي (QG) لتسهيل انتشار وتجميع معرفة الارتباطات الدلالية باستخدام الت convolutionات على الرسوم البيانية. أظهرت التجارب الواسعة أن طريقة التصميم المقترحة تتفوق على الطرق الحالية، وتحدد حالة جديدة في التميز على كلا مجموعة بيانات PMD (مقياس f: 0.844) وMSD (مقياس f: 0.889).