네트워크 프루닝은 성능 저하 없이 과도하게 매개변수화된 네트워크의 계산 비용을 줄이는 기술입니다. 현재까지의 주요 프루닝 알고리즘들은 프루닝된 네트워크의 너비와 깊이를 미리 정의한 후, 프루닝되지 않은 네트워크에서 매개변수를 프루닝된 네트워크로 전송합니다. 이러한 구조적 제약을 극복하기 위해, 우리는 신경망 아키텍처 검색을 적용하여 채널과 레이어 크기가 유연한 네트워크를 직접 탐색하는 방법을 제안합니다. 프루닝된 네트워크의 손실을 최소화함으로써 채널/레이어 수가 학습됩니다. 프루닝된 네트워크의 특징 맵은 K 개의 다른 크기의 네트워크에서 생성된 K 개의 특징 맵 조각들의 집합이며, 이는 확률 분포에 따라 샘플링됩니다. 손실은 단지 네트워크 가중치뿐만 아니라 매개변수화된 분포에도 역전파되어 채널/레이어 크기를 명시적으로 조정할 수 있습니다. 특히, 채널별 보간법을 적용하여 집합 과정에서 서로 다른 채널 크기의 특징 맵이 일치하도록 유지합니다. 각 분포에서 크기의 최대 확률은 프루닝된 네트워크의 너비와 깊이를 나타내며, 이 매개변수들은 원래 네트워크로부터 지식 전달(예: 지식 증류)을 통해 학습됩니다. CIFAR-10, CIFAR-100 및 ImageNet 데이터셋에서 수행한 실험들은 우리의 새로운 프루닝 관점이 기존 프루닝 알고리즘에 비해 효과적임을 입증합니다. 다양한 검색 및 지식 전달 접근법들이 실험되어 두 구성 요소의 효과성을 보여줍니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/D-X-Y/NAS-Projects.