卷积神经网络（CNNs）在许多计算机视觉任务中实现了最先进的性能。然而，这一成就的前提是需要进行大量的手动标注，无论是从头开始训练还是针对目标任务进行微调。在这项工作中，我们提出了一种完全自动化的方法来微调CNN，以实现从大量无序图像中检索图像的目的。我们采用了最先进的检索技术和运动恢复结构（Structure-from-Motion, SfM）方法来生成3D模型，这些模型用于指导选择用于CNN微调的训练数据。我们证明了困难正例和困难负例样本特别有助于提高特定对象检索的最终性能，尤其是在使用紧凑编码的情况下。