Qimera: 합성 경계 지지 샘플을 사용한 데이터 없는 양자화

모델 양자화는 특히 경량 모바일 또는 엣지 장치에서 추론을 위해 딥 뉴럴 네트워크를 압축하는 유망한 방법으로 알려져 있습니다. 그러나 모델 양자화는 일반적으로 전체 정밀도 모델의 정확성을 유지하기 위해 원본 학습 데이터에 접근할 필요가 있으며, 이는 보안과 프라이버시 문제로 인해 실제 환경에서는 종종 실현 가능하지 않습니다. 원본 데이터에 접근하지 않고 양자화를 수행하기 위한 인기 있는 방법은 배치 정규화 통계나 적대적 학습을 기반으로 합성 샘플을 생성하는 것입니다. 그러나 이러한 접근 방식의 단점은 주로 생성기에 임의의 노이즈 입력을 사용하여 합성 샘플의 다양성을 확보한다는 점입니다. 우리는 이 방법이 원본 데이터의 분포, 특히 결정 경계 근처에서 이를 충분히 포착하지 못하는 경우가 많다는 것을 발견했습니다.이를 해결하기 위해, 우리는 슈퍼포지드 잠재 임베딩을 사용하여 합성 경계 지원 샘플을 생성하는 방법인 Qimera를 제안합니다. 슈퍼포지드 임베딩이 원본 분포를 더 잘 반영하도록 하기 위해, 추가적인 해제 매핑 층(disentanglement mapping layer)을 사용하고 전체 정밀도 모델에서 정보를 추출하는 방법도 제안합니다. 실험 결과는 Qimera가 데이터 없는 양자화에서 다양한 설정에 대해 최고 수준의 성능을 달성함을 보여줍니다. 코드는 https://github.com/iamkanghyunchoi/qimera에서 확인할 수 있습니다.