L'optimisation d'une métrique basée sur le classement, telle que la Précision Moyenne (Average Precision, AP), est notoirement difficile en raison de sa non-différentiabilité, ce qui empêche son optimisation directe par des méthodes de descente de gradient. À cette fin, nous introduisons un objectif qui optimise une approximation lissée de l'AP, appelée Smooth-AP. Smooth-AP est une fonction objectif « plug-and-play » qui permet l'entraînement de bout en bout des réseaux profonds avec une mise en œuvre simple et élégante. Nous présentons également une analyse expliquant pourquoi l'optimisation directe de la métrique de classement AP offre des avantages par rapport à d'autres pertes d'apprentissage profond basées sur les métriques. Nous appliquons Smooth-AP à des benchmarks standard de recherche d'images : Stanford Online Products et VehicleID, et évaluons également ses performances sur des jeux de données plus volumineux : INaturalist pour la recherche de catégories fines, et VGGFace2 et IJB-C pour la recherche faciale. Dans tous les cas, nous améliorons les performances par rapport à l'état de l'art, particulièrement pour les jeux de données à grande échelle, démontrant ainsi l'efficacité et la scalabilité de Smooth-AP dans des scénarios réels.