تقدير غير مراقب عميق للهوموغرافيا المعتمد على المحتوى

يُعد تقدير الهوموغرافيا طريقة أساسية لمحاذاة الصور في العديد من التطبيقات. وعادةً ما يتم تنفيذه من خلال استخلاص وتوحيد نقاط الميزة النادرة، وهي طريقة عرضة للأخطاء في الصور ذات الإضاءة المنخفضة أو نقص النسيج. من ناحية أخرى، تستخدم الطرق العميقة السابقة للهوموغرافيا إما صورًا مُصَنَّعة لتعلم مراقب، أو صورًا جوية لتعلم غير مراقب، مع تجاهل كلي لأهمية التعامل مع الفروق في العمق والكائنات المتحركة في التطبيقات الواقعية. وللتغلب على هذه المشكلات، نقترح في هذا العمل طريقة عميقة غير مراقبة لتقدير الهوموغرافيا، مدعومة بتصميم معماري جديد. ووفقًا لروح خوارزمية RANSAC في الأساليب التقليدية، نتعلم بشكل خاص قناعًا للقيم الشاذة (outlier mask) لاختيار مناطق موثوقة فقط لتقدير الهوموغرافيا. ونحسب الخسارة بناءً على السمات العميقة التي تعلمناها، بدلًا من المقارنة المباشرة لمحتوى الصور كما كان متعارفًا سابقًا. ولتحقيق التدريب غير المراقب، نصيغ أيضًا خسارة ثلاثية (triplet loss) جديدة مصممة خصيصًا لشبكتنا. ونتحقق من أداء طريقة التقدير من خلال إجراء مقارنات شاملة على مجموعة بيانات جديدة تغطي طيفًا واسعًا من المشاهد، تتراوح صعوبتها من سهلة إلى صعبة جدًا. وتُظهر النتائج التجريبية أن طريقة التقدير المقترحة تتفوق على أحدث الطرق، بما في ذلك الحلول العميقة والحلول القائمة على الميزات.