저비트 폭 훈련을 위한 깊은 신경망의 통계적 프레임워크

전량 양자화 학습(Fully Quantized Training, FQT)은 신경망 모델의 활성화, 가중치, 그리고 기울기를 모두 저비트폭 하드웨어를 활용하여 양자화함으로써 딥 신경망의 학습 속도를 가속화하는 데 유망한 접근법이다. FQT의 주요 과제 중 하나는 이론적 이해의 부족, 특히 기울기 양자화가 수렴 성질에 미치는 영향에 대한 명확한 이해 부족이다. 본 논문에서는 FQT 알고리즘을 분석하기 위한 통계적 프레임워크를 제안함으로써 이 문제를 해결한다. 우리는 FQT에서 양자화된 기울기를 정밀도가 전체인 대응 기울기의 확률적 추정자로 간주하며, 이를 양자화 인식 학습(Quantization-Aware Training, QAT)이라고 한다. 본 연구에서는 FQT 기울기가 QAT 기울기의 편향 없는 추정자임을 보이며, 기울기 양자화가 분산에 미치는 영향을 논의한다. 이러한 이론적 결과를 바탕으로, 두 가지 새로운 기울기 양자화기(quantizer)를 개발하였으며, 이들이 기존의 텐서 단위 양자화기(per-tensor quantizer)보다 더 낮은 분산을 가짐을 입증한다. ImageNet에서 ResNet-50을 학습하는 실험에서, 본 연구에서 제안한 5비트 블록 하우스홀더 양자화기(block Householder quantizer)는 QAT 대비 검증 정확도 손실이 단 0.5%에 불과하며, 기존의 INT8 기준 수준과 비교해도 유사한 성능을 보였다.