La recherche de modèles de réseaux neuronaux profonds efficaces et épurés est principalement menée par le biais du pruning (élagage) : formation d'un réseau dense et surparamétré, puis suppression des paramètres, généralement en suivant une heuristique conçue manuellement. De plus, l'hypothèse récente du Billet Gagnant (Lottery Ticket Hypothesis) suggère qu'il est possible de trouver de petits sous-réseaux au sein d'un réseau neuronal typiquement dimensionné, qui, lorsqu'ils sont formés à partir de zéro avec un budget comparable, peuvent égaler les performances du réseau dense original. Nous reprenons les aspects fondamentaux des algorithmes d'élagage, soulignant les éléments manquants dans les approches précédentes, et développons une méthode, la Sparsification Continue (Continuous Sparsification), qui cherche des réseaux épurés basée sur une nouvelle approximation d'une régularisation $\ell_0$ℓ0​ intractable. Nous comparons notre méthode aux méthodes heuristiques dominantes pour l'élagage ainsi que pour la recherche de billets gagnants -- c'est-à-dire la découverte de sous-réseaux épurés qui peuvent être réentraînés avec succès à partir d'une itération précoce. Les résultats empiriques montrent que nous surpassons l'état de l'art pour les deux objectifs, à travers différents modèles et jeux de données, y compris VGG formé sur CIFAR-10 et ResNet-50 formé sur ImageNet. En plus d'établir un nouveau standard pour l'élagage, la Sparsification Continue offre également une recherche rapide et parallèle de billets gagnants, ouvrant ainsi la voie à de nouvelles applications de l'hypothèse du Billet Gagnant.