Dans cet article, nous abordons les problèmes liés à l'évaluation des systèmes de recherche d'images sur les ensembles de données standards et populaires Oxford 5k et Paris 6k. Plus précisément, nous traitons les erreurs d'annotation, la taille des ensembles de données et le niveau de difficulté : une nouvelle annotation est créée pour les deux ensembles de données avec une attention particulière portée à la fiabilité du ground truth (vérité terrain). Trois nouveaux protocoles d'évaluation de difficultés variables sont introduits. Ces protocoles permettent une comparaison équitable entre différentes méthodes, y compris celles utilisant une étape de prétraitement des ensembles de données. Pour chaque ensemble de données, 15 nouvelles requêtes difficiles sont présentées. Enfin, un nouveau jeu de 1 million de distracteurs difficiles, nettoyés semi-automatiquement, est sélectionné.Une comparaison exhaustive des méthodes les plus avancées est effectuée sur ce nouveau benchmark. Différents types de méthodes sont évalués, allant des méthodes basées sur les caractéristiques locales aux méthodes modernes basées sur les CNN (Convolutional Neural Networks). Les meilleurs résultats sont obtenus en combinant le meilleur des deux approches. Il est important de noter que la recherche d'images reste loin d'être résolue.