مطابقة الرسم البياني البصري العميقة المقاومة المستندة إلى المظهر والهيكل: الهجوم، والدفاع، وما بعده

على الرغم من التقدم الأخير في نماذج التوافق الرسومي العميق عالية الدقة (GM) في الصور البصرية، فإن موثوقية نماذج GM العميقة نادراً ما تُدرس، رغم أن هذه المسألة أُظهرت كمشكلة مهمة في الشبكات العميقة الحديثة، بدءًا من التعرف على الصور وانتهاءً بمهام تعلم الرسوم. نُظهر أولًا أن الهجوم العدواني على موضع النقاط المميزة (keypoints) والرسوم الخفية يمكن أن يؤدي إلى انخفاض كبير في الدقة بالنسبة لنماذج GM العميقة. وبناءً على ذلك، نقترح استراتيجية دفاعية جديدة تُسمى التوافق الرسومي الصلب المُدرك للملامح والهيكل (ASAR-GM). وبشكل خاص، وبخلاف التدريب العدواني الشائع (AT) الذي يُعتمد عليه عمليًا، نصمم مُعدّلًا مُدركًا للملامح (AAR) يُطبّق على النقاط المميزة ذات الملامح المشابهة بين الرسوم التي يُحتمل أن تُربك النموذج. تُظهر النتائج التجريبية أن نموذج ASAR-GM يحقق موثوقية أفضل مقارنةً بالتدريب العدواني. علاوةً على ذلك، يمكن لهجومنا على المواقع أن يعمل كتقنية لتعزيز البيانات، مما يعزز أداء النماذج الرائدة في مجال التوافق الرسومي حتى على بيانات الاختبار النظيفة. يمكن الوصول إلى الشفرة المصدرية عبر الرابط: https://github.com/Thinklab-SJTU/RobustMatch.