8일 전

글로벌 스퍼스리티 제약을 통한 신경망의 효과적인 스퍼스화

Xiao Zhou, Weizhong Zhang, Hang Xu, Tong Zhang
글로벌 스퍼스리티 제약을 통한 신경망의 효과적인 스퍼스화
초록

가중치 프러닝은 실제 환경에서 딥 신경망의 모델 크기와 추론 시간을 줄이는 효과적인 기술이다. 그러나 신경망의 각 층마다 가중치의 크기와 상대적 중요도가 매우 다르기 때문에, 기존의 방법들은 각 층에 대해 적절한 프러닝 비율을 찾기 위해 수동 조정이나 사전에 정해진 휴리스틱 규칙에 의존한다. 이 접근 방식은 일반적으로 최적의 성능을 도출하지 못한다. 본 논문에서는 확률 공간을 직접 다루는 방식으로, 전역 희소성 제약 조건 하에서 자연스러운 희소화 문제를 해결하는 효과적인 네트워크 희소화 기법인 {\it 확률 마스킹}(ProbMask)을 제안한다. 주요 아이디어는 모든 층에 대해 가중치의 중요도를 측정하는 데 있어 확률을 전역 기준으로 사용하는 것이다. ProbMask의 매력적인 특징은 제약 조건을 통해 가중치의 중복 정도를 자동으로 학습할 수 있다는 점이며, 이로 인해 네트워크 내 각 층에 대해 개별적으로 프러닝 비율을 조정해야 하는 문제를 피할 수 있다. CIFAR-10/100 및 ImageNet에서 수행한 광범위한 실험 결과는 본 방법이 매우 효과적이며, 특히 고 프러닝 비율 상황에서 기존 최고 성능 기법들을 상당한 차이로 능가함을 보여준다. 특히, ProbMask와 기존 기법 간의 Top-1 정확도 차이가 최대 10\%에 이르는 것으로 나타났다. 부가적으로, ProbMask가 무작위로 초기화된 밀집 신경망 내에서 높은 성능을 보이는 서퍼마스크(supermasks)를 효과적으로 식별할 수 있음도 보여준다.

글로벌 스퍼스리티 제약을 통한 신경망의 효과적인 스퍼스화 | 최신 연구 논문 | HyperAI초신경