في هذه الورقة، نتناول مشكلات تقييم استرجاع الصور على مجموعات البيانات القياسية والشائعة "أكسفورد 5k" و"باريس 6k". بشكل خاص، نعالج أخطاء التسمية، حجم المجموعة، ومدى التحدي: تم إنشاء تسميات جديدة لكلا المجموعتين مع التركيز الإضافي على موثوقية الحقيقة الأرضية. تم تقديم ثلاث بروتوكولات جديدة ذات صعوبات متدرجة. تتيح هذه البروتوكولات مقارنة عادلة بين مختلف الأساليب، بما في ذلك تلك التي تستخدم مرحلة معالجة سابقة للمجموعة. بالنسبة لكل مجموعة بيانات، تم تقديم 15 استفسارًا جديدًا وصعبًا. وأخيرًا، تم اختيار مجموعة جديدة من مليون مشتت (distractor) صعب تم تنظيفها شبه آليًا.تم إجراء مقارنة شاملة للأساليب الرائدة على المعيار الجديد. تم تقييم أنواع مختلفة من الأساليب، بدءًا من الأساليب القائمة على الخصائص المحلية وحتى الأساليب الحديثة القائمة على شبكات العصبونات المت convoled (CNN). تم تحقيق أفضل النتائج عن طريق الجمع بين أفضل ما في العالمين. وأهم من ذلك كله، يبدو أن مشكلة استرجاع الصور بعيدة كل البعد عن الحل.