Avec l'avènement de l'apprentissage profond, la détection d'objets est passée d'un problème de reconnaissance ascendante à un problème de reconnaissance descendante. Les algorithmes les plus avancés énumèrent une liste quasi-exhaustive des emplacements des objets et classifient chacun en : objet ou non-objet. Dans cet article, nous montrons que les approches ascendantes restent compétitives. Nous détectons quatre points extrêmes (le plus haut, le plus à gauche, le plus bas, le plus à droite) et un point central des objets à l'aide d'un réseau de détection de points clés standard. Nous regroupons les cinq points clés dans une boîte englobante s'ils sont alignés géométriquement. La détection d'objets devient alors un problème purement basé sur l'apparence de la détection de points clés, sans classification de régions ni apprentissage implicite de caractéristiques. La méthode proposée se compare favorablement aux méthodes de détection basées sur des régions les plus récentes, avec un AP (Average Precision) de boîtes englobantes de 43,2% sur COCO test-dev. De plus, nos points extrêmes estimés engendrent directement un masque octogonal grossier, avec un AP de masque COCO de 18,9%, bien meilleur que l'AP de masque des boîtes englobantes simples. La segmentation guidée par les points extrêmes améliore encore cela jusqu'à un AP de masque COCO de 34,6%.