Les Réseaux Neuronaux Convolutifs (CNNs) atteignent des performances de pointe dans de nombreuses tâches de vision par ordinateur. Cependant, cette performance est précédée d'une annotation manuelle extrême, nécessaire pour effectuer soit un entraînement à partir de zéro, soit un ajustement fin pour la tâche cible. Dans ce travail, nous proposons d'ajuster finement les CNNs pour la recherche d'images à partir d'une grande collection d'images non ordonnées de manière entièrement automatisée. Nous utilisons des méthodes de recherche de pointe et des techniques de Reconstruction à partir du Mouvement (SfM) pour obtenir des modèles 3D, qui sont ensuite utilisés pour guider la sélection des données d'entraînement lors de l'ajustement fin des CNNs. Nous démontrons que les exemples positifs difficiles et les exemples négatifs difficiles améliorent particulièrement les performances finales en recherche d'objets spécifiques avec des codes compacts.