استرجاع الصور على نطاق واسع باستخدام الخصائص المحلية العميقة مع الانتباه

نقترح وصفة مميزة محلية ذات انتباه مناسبة لاسترجاع الصور على نطاق واسع، والتي تُعرف بـ DELF (DEep Local Feature). تعتمد هذه الوصفة الجديدة على شبكات العصبونات التلافيفية، والتي يتم تدريبها باستخدام شروح صورية على مستوى الصورة فقط في مجموعة بيانات الصور المعالم. للتحديد الدقيق للخصائص المحلية ذات القيمة الدلالية المفيدة لاسترجاع الصور، نقترح أيضًا آلية انتباه لاختيار النقاط الرئيسية، والتي تشترك في معظم طبقات الشبكة مع الوصفة. يمكن استخدام هذا الإطار كبدائل جاهزة لاستخدامها مباشرة بدلاً من كاشفات النقاط الرئيسية والأوصاف الأخرى، مما يمكّن من مطابقة الخصائص بشكل أكثر دقة والتحقق الهندسي. ينتج نظامنا درجات ثقة موثوقة لرفض الإيجابيات الكاذبة---خاصة أنه متين ضد الاستعلامات التي لا يوجد لها مطابقة صحيحة في قاعدة البيانات. لتقييم الوصفة المقترحة، نقدم مجموعة بيانات جديدة على نطاق واسع تُعرف بـ Google-Landmarks dataset، والتي تتضمن تحديات في كل من قاعدة البيانات والاستعلامات مثل الفوضى الخلفية، الاخفاء الجزئي، المعالم المتعددة، الأشياء في مقاييس مختلفة وغيرها. نوضح أن DELF تتفوق بشكل كبير على أفضل الأوصاف العالمية والمحلية الحالية في الإعداد الكبير بمargins كبيرة. يمكن العثور على الرمز والبيانات في صفحة المشروع: https://github.com/tensorflow/models/tree/master/research/delf .