تعلم إعادة تحديد الموضع متعدد المقاطع باستخدام الشبكات العصبية الرسومية

نُقترح بناء رسم بياني للوجه (View Graph) لاستخراج المعلومات الواردة في التسلسل الكامل المعطى بهدف تقدير وضعية الكاميرا المطلقة. بشكل محدد، نستعين بشبكات الرسوم البيانية العصبية (GNNs) لتمثيل هذا الرسم البياني، مما يسمح للاطارات غير المتتالية بالتبادل المعلومات فيما بينها. بدلًا من استخدام شبكات GNN التقليدية مباشرة، نعيد تعريف العقد، والحواف، والوظائف المُدمجة لتتناسب مع مهمة إعادة التحديد المكاني. وتعمل شبكات GNN المُعاد تصميمها بالتعاون مع شبكات التعلم العميق التلافيفي (CNNs) على التوجيه في انتقال المعرفة واستخراج الميزات على التوالي، لمعالجة ميزات الصور متعددة الرؤى عالية الأبعاد بشكل تكراري على مستويات مختلفة. بالإضافة إلى ذلك، نستخدم دالة خسارة قائمة على الرسم البياني بشكل عام، تتجاوز القيود المفروضة بين الرؤى المتتالية، لتدريب الشبكة بطريقة متكاملة (end-to-end). أظهرت التجارب الواسعة التي أُجريت على مجموعات بيانات داخلية وخارجية أن طريقتنا تتفوق على الأساليب السابقة، خاصة في السيناريوهات الكبيرة والصعبة.