효율적이고 희소한 딥 뉴럴 네트워크 모델을 찾기 위한 노력은 주로 프루닝(pruning)을 통해 이루어지고 있다. 이는 밀집되고 과도하게 매개변수화된 네트워크를 학습한 후, 일반적으로 수작업으로 설계된 휴리스틱(heuristic)을 따르며 매개변수를 제거하는 과정이다. 또한 최근의 로터리 티켓 가설(Lottery Ticket Hypothesis)은 일반적인 크기의 신경망에서 초기 상태에서 유사한 비용으로 학습할 때 원래 밀집된 네트워크와 동일한 성능을 내는 작은 하위 네트워크를 찾을 수 있다는 가정을 하고 있다. 본 연구에서는 프루닝 알고리즘의 기본적인 측면들을 재검토하며, 이전 접근 방식에서 누락되었던 요소들을 지적하고, 새로운 $\ell_0$ 정규화(intractable $\ell_0$ regularization)의 근사법을 기반으로 하는 방법론인 연속적 희소화(Continuous Sparsification)를 개발하였다. 우리는 주요 휴리스틱 기반 방법들과 비교하여 프루닝 및 티켓 탐색 -- 초기 반복(iterate)에서 성공적으로 재학습할 수 있는 희소 하위 네트워크를 찾는 것 -- 에 대한 성능을 평가하였다. 경험적 결과는 VGG가 CIFAR-10에서 학습되고 ResNet-50이 ImageNet에서 학습되는 등 다양한 모델과 데이터셋에 걸쳐 두 가지 목표 모두에서 최신 기술(state-of-the-art)을 초월한다는 것을 보여준다. 연속적 희소화는 프루닝 분야에 새로운 기준을 설정함과 동시에 빠른 병렬 티켓 탐색을 제공하여, 로터리 티켓 가설의 새로운 응용 가능성을 열어주고 있다.