La détection d'objets 3D dans les nuages de points est une tâche visuelle complexe qui bénéficie à diverses applications visant à comprendre le monde visuel en trois dimensions. De nombreuses recherches récentes se concentrent sur l'exploitation d'une stratégie de vote de Hough entraînable end-to-end afin de générer des propositions d'objets. Toutefois, la stratégie de vote actuelle ne peut capter que des votes partiels provenant des surfaces des objets potentiels, tout en étant fortement affectée par des votes aberrants provenant des arrière-plans encombrés, ce qui limite une utilisation optimale de l'information contenue dans les nuages de points d'entrée. Inspirés par la stratégie de traçage arrière utilisée dans les méthodes classiques de vote de Hough, nous proposons dans ce travail une nouvelle méthode de détection d'objets 3D, nommée BRNet (Back-tracing Representative Points Network), qui génère rétroactivement des points représentatifs à partir des centres de vote, tout en revisitant également des points semences complémentaires situés autour de ces points générés. Cette approche permet ainsi de mieux capturer les caractéristiques locales fines entourant les objets potentiels directement à partir des nuages de points bruts. Par conséquent, la stratégie « bottom-up, puis top-down » adoptée dans notre BRNet impose une cohérence mutuelle entre les centres de vote prédits et les points de surface bruts, conduisant à des résultats plus fiables et plus flexibles en localisation d'objets et en classification. Notre BRNet est simple mais efficace : elle surpasse significativement les méthodes de pointe sur deux grands jeux de données de nuages de points, ScanNet V2 (+7,5 % en termes de mAP@0,50) et SUN RGB-D (+4,7 % en termes de mAP@0,50), tout en restant légère et efficace. Le code source sera disponible à l'adresse suivante : https://github.com/cheng052/BRNet.