신경망 프루닝은 과도하게 파라미터화된 네트워크의 계산 비용을 줄여 효율성을 향상시키는 기법이다. 대표적인 방법으로는 ℓ₁-노름 희소화와 신경망 아키텍처 탐색(Neural Architecture Search, NAS) 등이 있다. 본 연구에서는 프루닝된 네트워크의 최종 정확도를 최적화하고, 과도하게 파라미터화된 부모 네트워크의 내부 계층에서 지식을 추출하는 새로운 프루닝 방법을 제안한다. 이 접근을 가능하게 하기 위해, 뉴런의 중요도와 관련된 계산 비용 간의 트레이드오프를 최적화하는 방식으로 네트워크 프루닝을 '가방 문제(Knapsack Problem)'로 수식화하였다. 이후 고수준의 네트워크 구조를 유지하면서 채널을 프루닝한다. 프루닝된 네트워크는 부모 네트워크의 내부 지식을 활용하여 지도하되, 부모 네트워크의 내부 레이어에서 추출한 지식을 기반으로 미세 조정하는 기법을 '내부 지식 증류(Inner Knowledge Distillation)'라 명명한다. 제안한 방법은 ResNet 기반 아키텍처를 사용하여 ImageNet, CIFAR-10, CIFAR-100에서 최신 기준의 프루닝 성능을 달성한다. 복잡한 구조인 스킵 연결이 있는 합성곱 또는 디프스와이즈 합성곱을 프루닝하기 위해, 블록 그룹화 기법을 제안하여 이러한 구조에 효과적으로 대응한다. 이를 통해 EfficientNet-B0 및 MobileNetV3와 동일한 FLOPs를 유지하면서도 ImageNet에서 각각 1%와 0.3% 더 높은 정확도를 달성하는 컴팩트한 아키텍처를 구축하였으며, GPU에서 더 빠른 실행 시간을 제공한다.