학습된 단계 크기 양자화

추론 시 저정밀 연산으로 실행되는 딥 네트워크는 고정밀 대안보다 전력과 공간에서 이점을 제공하지만, 정밀도가 감소함에 따라 높은 정확도를 유지하는 과제를 극복해야 합니다. 본 연구에서는 이미지넷(ImageNet) 데이터셋에서 2비트, 3비트 또는 4비트 정밀도로 가중치와 활성화를 양자화한 다양한 아키텍처의 모델을 사용하여 현재까지 가장 높은 정확도를 달성한 학습된 단계 크기 양자화(Learned Step Size Quantization) 방법을 제시합니다. 이 방법은 양자화된 네트워크에서 가중치를 학습하는 기존 방법을 개선하여 양자화기 자체의 설정을 개선합니다. 구체적으로, 각 가중치 및 활성화 계층의 양자화 단계 크기에 대한 작업 손실 그래디언트를 추정하고 조정하는 새로운 방식을 도입하여, 이를 다른 네트워크 매개변수와 함께 학습할 수 있도록 하였습니다. 이 접근법은 주어진 시스템이 필요한 정밀도 수준에 따라 다르게 작동하며, 기존 훈련 코드에 간단한 수정만 필요합니다.