Les descripteurs d'images basés sur les activations des Réseaux Neuronaux Convolutifs (CNNs) sont devenus prédominants dans la recherche d'images en raison de leur puissance discriminante, de la compacité de leur représentation et de leur efficacité de recherche. L'entraînement des CNNs, qu'il s'agisse d'un entraînement à partir de zéro ou d'un ajustement fin, nécessite une grande quantité de données annotées, où une haute qualité d'annotation est souvent cruciale. Dans ce travail, nous proposons d'ajuster finement les CNNs pour la recherche d'images sur une grande collection d'images non ordonnées de manière entièrement automatisée. Les modèles 3D reconstruits obtenus par les méthodes actuelles de recherche et de reconstruction à partir du mouvement guident la sélection des données d'entraînement. Nous montrons que les exemples positifs difficiles et négatifs difficiles, sélectionnés en exploitant la géométrie et les positions des caméras disponibles dans les modèles 3D, améliorent les performances de la recherche d'objets particuliers. Le blanchiment discriminatif des descripteurs CNN appris à partir des mêmes données d'entraînement surpassent le blanchiment PCA couramment utilisé. Nous proposons une nouvelle couche de regroupement moyenne généralisée (Generalized-Mean, GeM) apprenable qui généralise le regroupement max et le regroupement moyen, et démontrons qu'elle améliore les performances de recherche. L'application de notre méthode au réseau VGG atteint des performances au niveau de l'état de l'art sur les benchmarks standards : les ensembles de données Oxford Buildings, Paris et Holidays.