ZeroQ: 새로운 제로샷 양자화 프레임워크

양자화는 신경망의 추론 시간과 메모리 사용량을 줄이는 유망한 접근 방식입니다. 그러나 대부분의 기존 양자화 방법은 양자화 과정에서 재학습을 위해 원래 훈련 데이터셋에 접근할 필요가 있습니다. 이는 개인 정보와 보안 문제 등으로 인해 민감하거나 소유권이 있는 데이터를 다루는 애플리케이션에서는 종종 불가능합니다. 기존의 제로샷(zero-shot) 양자화 방법들은 이를 해결하기 위해 다양한 휴리스틱을 사용하지만, 특히 초저정밀(ultra-low precision) 양자화 시 성능이 저하되는 경향이 있습니다.본 연구에서는 이러한 문제를 해결하기 위한 새로운 제로샷 양자화 프레임워크인 ZeroQ를 제안합니다. ZeroQ는 훈련 데이터나 검증 데이터에 접근하지 않고도 혼합 정밀도(mixed-precision) 양자화를 가능하게 합니다. 이는 배치 정규화(batch normalization) 통계량이 네트워크의 여러 계층에서 일치하도록 설계된 증류 데이터셋(distilled dataset)을 최적화함으로써 이루어집니다. ZeroQ는 균일(uniform) 및 혼합 정밀도(mixed-precision) 양자화를 모두 지원합니다. 후자의 경우, 모든 계층의 혼합 정밀도 비트 설정을 자동으로 결정하는 새로운 파레토 전선(Pareto frontier) 기반 방법을 도입하였습니다. 이 방법은 수작업 탐색 없이 수행됩니다.우리는 ImageNet에서 ResNet18/50/152, MobileNetV2, ShuffleNet, SqueezeNext, InceptionV3 모델들과 Microsoft COCO 데이터셋에서 RetinaNet-ResNet50 모델을 포함하여 다양한 모델 집합에서 제안된 방법을 광범위하게 테스트하였습니다. 특히, 최근 제안된 DFQ 방법과 비교하여 ZeroQ가 MobileNetV2에서 1.71% 더 높은 정확도를 달성할 수 있음을 보였습니다. 중요한 점은 ZeroQ가 매우 낮은 계산 부담을 가지며, ImageNet에서 ResNet50의 한 에폭(epoch) 학습 시간(0.5%)보다 짧은 30초 미만으로 전체 양자화 과정을 완료할 수 있다는 것입니다.ZeroQ 프레임워크는 오픈 소스로 공개되었습니다.\footnote{https://github.com/amirgholami/ZeroQ}.