신경재생을 통한 프루닝 유연성 강화를 통한 희소 훈련

최근 들어, 후 훈련 시점에서의 절단(반복적 크기 기반 절단, iterative magnitude pruning)과 전 훈련 시점에서의 절단(초기화 시 절단, pruning at initialization)에 관한 연구들, 특히 로또 티켓 가설(Lottery Ticket Hypothesis, LTH)과 단일 스파이크 네트워크 절단(Single-shot Network Pruning, SNIP)에 대한 연구들이 큰 주목을 받고 있다. 그러나 후 훈련 절단은 극도로 높은 계산 비용을 수반하며, 전 훈련 절단은 일반적으로 성능이 부족한 문제가 있다. 이에 비해, 훈련 중 절단(training-time pruning)은 훈련 및 추론 효율성과 비교 가능한 성능을 동시에 확보할 수 있는 점에서 매력적인 접근법이지만, 아직까지는 상대적으로 탐색이 부족한 분야이다. 훈련 중 절단의 본질을 더 깊이 이해하기 위해, 본 연구는 절단의 유연성(plasticity) — 즉, 절단된 네트워크가 원래 성능을 회복할 수 있는 능력 — 측면에서 훈련 전반에 걸친 절단의 영향을 정량적으로 분석한다. 절단 유연성은 기존 문헌에서 관찰된 여러 경험적 현상들을 해석하는 데 도움을 줄 수 있다. 또한 우리는 뇌에서 영감을 받은 ‘신경 재생(neuroregeneration)’이라는 메커니즘을 도입함으로써 절단 유연성을 크게 향상시킬 수 있음을 발견하였다. 이 메커니즘은 절단된 연결 수와 동일한 수의 연결을 재생하는 방식으로 작동한다. 이를 기반으로, 새로운 점진적 크기 기반 절단(Gradual Magnitude Pruning, GMP) 방법을 설계하였으며, 이를 ‘제로비용 신경 재생을 통한 점진적 절단’(Gradual Pruning with Zero-cost Neuroregeneration, \textbf{GraNet})이라 명명하였다. GraNet은 현재의 최고 성능을 초월하는 성과를 달성하였다. 특히 놀랍게도, ResNet-50 기반 ImageNet에서 훈련 시간을 늘리지 않고도, 다양한 밀집형에서 희소형으로의 전이 방식(Dense-to-Sparse)을 넘어서는 희소형에서 희소형으로의 훈련(Sparse-to-Sparse) 성능을 처음으로 향상시켰다. 관련 코드는 https://github.com/Shiweiliuiiiiiii/GraNet 에 공개하였다.