روما: مطابقة ميزات كثيفة مقاومة للضوضاء

تطابق الميزات هو مهمة مهمة في رؤية الحاسوب تتعلق بتقدير التقابلات بين صورتين لمشهد ثلاثي الأبعاد، وتشمل الطرق الكثيفة تقدير جميع هذه التقابلات. الغرض هو تعلم نموذج قوي، أي نموذج قادر على التطابق تحت التغيرات الواقعية الصعبة. في هذا العمل، نقترح مثل هذا النموذج، مستفيدين من الميزات المدربة مسبقًا والمجمدة من النموذج الأساسي DINOv2. رغم أن هذه الميزات أكثر قوة بكثير من الميزات المحلية التي يتم تدريبها من الصفر، إلا أنها خشنة بطبيعتها. ولذلك، نقوم بدمجها مع ميزات دقيقة متخصصة من الشبكات العصبية التلافيفية (ConvNet)، مما يخلق هرم ميزات يمكن تحديده بدقة. لتحسين القوة بشكل أكبر، نقترح فكّاً مطابقاً مصمماً خصيصاً للترانسفورمر يتنبأ باحتمالات النقاط المرجعية، مما يمكّنه من التعبير عن متعدد الأوضاع (multimodality). أخيرًا، نقترح صيغة خسارة محسنة عبر التصنيف بالانحدار (regression-by-classification) مع انحدار قوي لاحق. نجري مجموعة شاملة من التجارب تظهر أن طريقتنا RoMa تحقق مكاسب كبيرة وتضع سجلًا جديدًا للحالات الرائدة. وبشكل خاص، نحقق تحسنًا بنسبة 36% في مقاييس WxBS الصعبة للغاية. الرمز البرمجي متاح على https://github.com/Parskatt/RoMa