초록
심층 신경망의 가중치와 활성화 값을 양자화하는 것은 자원 제약이 있는 장치에 배포하거나 대규모 서비스를 위한 클라우드 플랫폼에 적용하는 데 필수적이다. 이진화는 양자화의 특수한 경우이지만, 이 극단적인 형태는 종종 여러 학습 난이도를 야기하며, 전용 모델과 학습 방법을 필요로 한다. 그 결과, 최근의 양자화 기법들은 이진화를 제공하지 않아 가장 자원 효율적인 옵션을 상실하게 되었고, 양자화된 네트워크와 이진화된 네트워크는 각각 별개의 연구 영역으로 분리되어 왔다. 본 연구에서는 양자화 프레임워크 내에서 이진화의 어려움을 분석하고, 이진 학습을 가능하게 하기 위해 필요한 것은 대칭적 양자화기(symmetric quantizer), 우수한 초기화, 그리고 신중한 하이퍼파라미터 선택임을 발견하였다. 이러한 기법들은 다비트 양자화에서도 상당한 성능 향상을 이끌어낸다. 다양한 아키텍처(ResNet-18, ResNet-34, MobileNetV2 등)를 사용하여 ImageNet 데이터셋에서 제안하는 통합 양자화 프레임워크인 UniQ를 검증하였다. 다비트 양자화에서는 기존 방법들을 능가하는 최고 수준의 정확도를 달성하였으며, 이진화 경우에도 기존 최고 수준의 성능과 비견되는 결과를 얻었으며, 원래 아키텍처를 수정하지 않고도 가능하다.