التعلم المشترك للتمثيل وكشف النقاط الأساسية لتحديد الموقع الجغرافي عبر الزوايا المختلفة

في هذه الورقة، ندرس مشكلة تحديد الموقع الجغرافي عبر الزوايا المختلفة بهدف مطابقة الصور المأخوذة من زوايا مختلفة. الدافع الرئيسي وراء هذا المهمة هو تعلُّم تمثيل بصري تمييزي يظل ثابتًا تجاه التغيرات في الزاوية. مستلهمين من النظام البصري البشري في استخلاص الأنماط المحلية، نقترح إطارًا جديدًا يُدعى RK-Net، يُمكّن من تعلُّم التمثيل التمييزي واكتشاف النقاط المميزة (Keypoints) بشكل مشترك باستخدام شبكة واحدة. بشكل خاص، نقدّم وحدة انتباه الطرح الوحدوي (USAM)، التي تُمكن من اكتشاف تلقائي للنقاط المميزة الممثلة من خرائط الميزات، وتركيز الانتباه على المناطق المميزة. تحتوي USAM على عدد قليل جدًا من المعاملات القابلة للتعلُّم، لكنها تُحقق تحسينًا كبيرًا في الأداء، ويمكن دمجها بسهولة في شبكات مختلفة. نُظهر من خلال تجارب واسعة أن (1) من خلال دمج USAM، يُمكّن RK-Net من تعلُّم متكامل ومتسلسل دون الحاجة إلى تسميات إضافية. إن تعلُّم التمثيل والكشف عن النقاط المميزة هما مهامتان مترابطتان للغاية: يُسهم تعلُّم التمثيل في تحسين الكشف عن النقاط المميزة، في حين يُثري الكشف عن النقاط المميزة قدرة النموذج على التصدي للتغيرات الكبيرة في المظهر الناتجة عن التغيرات في الزاوية. (2) تُعد USAM سهلة التنفيذ ويمكن دمجها مع الطرق الحالية، مما يُسهم في تحسين الأداء المتميز حاليًا. نحقق دقة تنافسية في تحديد الموقع الجغرافي على ثلاث مجموعات بيانات صعبة، وهي University-1652 وCVUSA وCVACT. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/AggMan96/RK-Net.