In dieser Arbeit werden Probleme der Bildretrieval-Benchmarking auf den gängigen und beliebten Datensätzen Oxford 5k und Paris 6k behandelt. Insbesondere werden Annotationfehler, die Größe des Datensatzes und das Ausmaß der Herausforderung angesprochen: Für beide Datensätze wird eine neue Annotation erstellt, wobei besonderes Augenmerk auf die Zuverlässigkeit der Ground Truth gelegt wird. Drei neue Protokolle unterschiedlicher Schwierigkeitsgrade werden eingeführt. Diese Protokolle ermöglichen einen fairen Vergleich verschiedener Methoden, einschließlich solcher, die eine Vorbearbeitungsphase des Datensatzes verwenden. Für jeden Datensatz werden 15 neue anspruchsvolle Abfragen vorgestellt. Schließlich wird ein neuer Satz von 1 Mio. schweren, halbautomatisch gereinigten Störfaktoren ausgewählt.Eine umfangreiche Vergleichsanalyse der Stand-of-the-Art-Methoden wird auf dem neuen Benchmark durchgeführt. Verschiedene Arten von Methoden werden evaluiert, von lokal-basierten Merkmalsmethoden bis hin zu modernen CNN-basierten Ansätzen. Die besten Ergebnisse werden durch die Kombination der besten Aspekte beider Welten erzielt. Von größter Bedeutung ist jedoch, dass das Problem der Bildretrieval weit davon entfernt ist, gelöst zu sein (image retrieval appears far from being solved).