R2D2: كاشف ووصف موثوق وقابل للتكرار

كُلّ من كشف النقاط المميزة ووصف السمات المحلية خطوات أساسية في العديد من تطبيقات الرؤية الحاسوبية. تعتمد الأساليب الكلاسيكية على نموذج "اكتشاف ثم وصف"، حيث تُستخدم طرق مصممة يدويًا منفصلة لتحديد أولًا نقاط المفتاح المتكررة، ثم تمثيلها باستخدام وصف محلي. في الآونة الأخيرة، تمكن الشبكات العصبية التي تم تدريبها باستخدام خسائر التعلم القياسيية من تحقيق تقارب مع هذه الأساليب، مع التركيز على تعلم خرائط التميز المتكرر للكشف عن نقاط المفتاح، أو تعلم الوصفات عند مواقع نقاط المفتاح المكتشفة. في هذه الدراسة، نجادل بأن المناطق المتكررة ليست بالضرورة مميزة، وبالتالي قد تؤدي إلى اختيار نقاط مفتاحية غير مثلى. علاوة على ذلك، ندّعي أن الوصفات يجب أن تُتعلم فقط في المناطق التي يمكن فيها إجراء المطابقة بثقة عالية.لذلك، نقترح تعلمًا مشتركًا لكشف نقاط المفتاح ووصفها مع مُقدِّر لتمييز الوصفات المحلية. هذا يمكّن من تجنُّب المناطق الغامضة، وبالتالي يُسهم في كشف ووصف نقاط مفتاحية موثوقة. تُنتج طريقة الكشف والوصف المُقترحة في آنٍ واحد نقاط مفتاحية نادرة ومتكررة وموثوقة، وتتفوّق على أحدث الكاشفات والوصفات على مجموعة بيانات HPatches وعلى بenchmark التوجيه الحديث Aachen Day-Night.