R2 손실: 모델 압축 및 양자화를 위한 범위 제한 손실

모델 양자화 및 압축은 추론 시 계산 자원 사용을 줄이는 데 널리 사용되는 기술이다. 최신 연구들은 4비트 또는 8비트와 같은 상대적으로 높은 비트 수에서 합리적인 정확도를 달성했지만, 더 나아가 1비트 또는 2비트로의 양자화/압축은 여전히 도전적인 과제이다. 이러한 과제를 극복하기 위해, 본 연구는 사전 훈련된 모델의 가중치에서 발생하는 이상치(outliers)에 주목한다. 이 이상치들은 저비트 양자화 및 압축의 효율성을 저해하는 주요 원인이다. 본 논문에서는 사전 훈련 단계에서 가중치의 이상치를 제거함으로써 저비트 양자화 및 압축에 적합한 모델을 구축하기 위한 범위 제한 손실(Range Restriction Loss, R2-Loss)을 제안한다. 효과적으로 가중치의 범위를 제한함으로써 전체 분포를 더욱 조밀한 형태로 조정함으로써, 높은 양자화 비트 해상도를 보장함으로써 모델 압축 및 양자화 기법이 제한된 숫자 표현 능력을 더 효과적으로 활용할 수 있도록 한다. 본 연구에서는 전정밀도 모델 훈련 중 보조 손실로 사용 가능한 세 가지 다양한 R2-Loss를 제안한다: L∞ R2-Loss, 그 확장형인 Margin R2-Loss, 그리고 새로운 Soft-Min-Max R2-Loss이다. 이들 R2-Loss는 다양한 상황에 적합하게 활용될 수 있다. 예를 들어, L∞ 및 Margin R2-Loss는 대칭 양자화에 효과적이며, Soft-Min-Max R2-Loss는 모델 압축에 더 우수한 성능을 보인다. 실험 결과, R2-Loss는 최신의 사후 양자화(PTQ), 양자화 인식 훈련(QAT), 모델 압축 기법 모두에서 저비트 양자화 정확도를 향상시켰다. 특히 R2-Loss를 적용한 경우, MobileNet-V2의 2비트 가중치 및 8비트 활성화 값에 대한 PTQ 성능은 50.66%에서 59.49%로, MobileNet-V1의 2비트 가중치 및 활성화 값에 대한 QAT 성능은 55.96%에서 59.05%로, ResNet18의 1비트 가중치 압축 성능은 45.54%에서 52.58%로 각각 개선되었다.