畳み込みニューラルネットワーク（CNNs）は、多くのコンピュータビジョンのタスクで最先端の性能を達成しています。しかし、この成果は、ターゲットタスクのためのスクラッチからの学習や微調整を行うために極めて手間のかかる手動アノテーションによって得られるものです。本研究では、大量の順不同画像から画像検索を行うためのCNNの完全自動的な微調整手法を提案します。最先端の検索およびモーションから構造（SfM）手法を使用して3次元モデルを取得し、これらのモデルを利用してCNN微調整に使用する訓練データの選択をガイドします。我々は、特にコンパクトなコードを使用した特定物体検索において、困難な肯定例と困難な否定例が最終的な性能向上に寄与することを示しています。