초록
희소성 학습(Sparsity learning)은 대규모 딥 신경망(DNN)의 계산 및 메모리 비용을 줄이기 위해 신경 연결을 절단(pruning)함과 동시에 높은 정확도를 유지하는 것을 목표로 한다. 이 분야에는 수많은 연구가 진행되었으며, 최근의 대규모 실험 결과에 따르면, 두 가지 주요 방법인 크기 기반 절단(Magnitude pruning)과 변분 드롭아웃(Variational Dropout, VD)이 분류 과제에서 유사한 최상의 성능을 달성함이 확인되었다. 본 연구에서는 각 레이어에서 인접 행렬(adjacency matrices)을 통해 미세한 수준의 뉴런 간 연결을 명시적으로 파라미터화하는 방법인 적응형 뉴런 연결(Adaptive Neural Connections, ANC)을 제안한다. 이 인접 행렬은 역전파를 통해 학습된다. 뉴런 간 연결을 명시적으로 파라미터화하는 방식은 두 가지 주요 이점을 제공한다. 첫째, 인접 행렬에 노름 기반 정규화(norm-based regularization)를 적용함으로써 희소성이 명시적으로 최적화될 수 있다. 둘째, VD와 결합할 경우(이를 ANC-VD라 명명함), 인접 행렬은 학습된 가중치 중요도 파라미터로 해석할 수 있으며, 이는 VD의 수렴 성능 향상에 기여할 것이라고 가정한다. ResNet18을 대상으로 수행한 실험 결과, ANC를 도입한 아키텍처가 기존의 기본 구조보다 우수한 성능을 보였다.