LSQ+: 학습 가능한 오프셋과 개선된 초기화를 통한 저비트 양자화 향상

ReLU와 달리, Swish, H-swish, Mish와 같은 최신 활성화 함수는 인기 있는 효율적인 아키텍처에서 자주 사용되지만, 양의 활성화 값과 음의 활성화 값의 범위가 비대칭적일 수 있으며, 음의 활성화 값을 유발할 수도 있다. 일반적인 학습 가능한 양자화 기법 [PACT, LSQ]은 활성화 값에 대해 부호 없는 양자화를 가정하며, 모든 음의 활성화 값을 0으로 양자화하기 때문에 성능 저하가 심각하게 발생한다. 이러한 음의 값을 처리하기 위해 단순히 부호 있는 양자화를 사용할 경우, 추가적인 부호 비트(sign bit)가 필요하게 되는데, 이는 2비트, 3비트, 4비트와 같은 저비트 양자화에서는 비용이 매우 높다. 본 연구에서는 이 문제를 해결하기 위해 LSQ의 자연스러운 확장인 LSQ+를 제안한다. LSQ+는 학습 가능한 스케일 및 오프셋 파라미터를 갖는 일반적인 비대칭 양자화 방식을 도입하여 음의 활성화 값을 효과적으로 처리할 수 있도록 한다. 또한, 기존의 기울기 기반 학습 가능한 양자화 기법은 종종 최종 학습 성능에서 높은 불안정성 또는 변동성을 보이며, 만족스러운 성능을 달성하기 위해 많은 하이퍼파라미터 튜닝이 필요하다. LSQ+는 양자화 파라미터에 MSE 기반 초기화 방식을 도입함으로써 이 문제를 완화한다. 실험 결과, 이 초기화 방식은 여러 학습 실행 간 최종 성능의 변동성을 크게 감소시킴을 보였다. 종합적으로, LSQ+는 EfficientNet과 MixNet에 대해 최고 수준의 성능을 보이며, Swish 활성화 함수를 사용하는 신경망의 저비트 양자화에서 기존 LSQ보다 크게 우수한 성능을 기록한다. 예를 들어, ImageNet 데이터셋에서 EfficientNet-B0에 대해 W4A4 양자화 시 1.8%의 성능 향상, W2A2 양자화 시 최대 5.6%의 성능 향상을 달성하였다. 본 연구를 통해, 우리가 처음으로 이러한 아키텍처를 극도로 낮은 비트 폭으로 양자화한 것으로 확인된다.