필터를 제거하여 효율적인 ConvNets 구현하기

CNNs(Convolutional Neural Networks)의 다양한 응용 분야에서의 성공은 계산 및 매개변수 저장 비용의 상당한 증가를 동반하고 있습니다. 이러한 부담을 줄이기 위한 최근의 노력은 원래 정확도를 저하시키지 않으면서 다양한 레이어의 가중치를 제거하고 압축하는 것을 포함합니다. 그러나, 크기 기반 가중치 제거는 완전 연결 레이어에서 많은 매개변수를 감소시키지만, 잘린 네트워크에서 불규칙한 희소성으로 인해 합성곱 레이어에서 계산 비용을 충분히 줄일 수 없습니다.본 연구에서는 CNNs의 출력 정확도에 미치는 영향이 작은 필터들을 식별하여 제거하는 가속화 방법을 제시합니다. 네트워크 내의 전체 필터와 그 연결된 특징 맵을 함께 제거함으로써, 계산 비용이 크게 줄어들게 됩니다. 가중치 제거와 달리, 이 접근 방식은 희소 연결 패턴을 생성하지 않습니다. 따라서 희소 합성곱 라이브러리의 지원이 필요하지 않고, 기존의 효율적인 BLAS(Basic Linear Algebra Subprograms) 라이브러리를 사용하여 밀집 행렬 곱셈을 수행할 수 있습니다.우리는 실험을 통해 VGG-16 모델에서 추론 비용을 최대 34%, ResNet-110 모델에서는 CIFAR10 데이터셋에서 최대 38%까지 줄일 수 있음을 보여주며, 이를 통해 네트워크를 재학습하여 원래 정확도에 근접한 성능을 회복할 수 있음을 입증하였습니다.