초록
자연어 처리(NLP) 모델은 종종 단어 임베딩을 위한 대규모 매개변수를 필요로 하며, 이는 큰 저장 공간이나 메모리 용량을 차지하게 됩니다. 신경망 NLP 모델을 모바일 기기에 배포하기 위해서는 성능에 큰 손실 없이 단어 임베딩을 압축해야 합니다. 이를 위해 우리는 적은 수의 기저 벡터로 임베딩을 구성하는 방법을 제안합니다. 각 단어에 대해 기저 벡터의 조합은 해시 코드에 의해 결정됩니다. 압축률을 최대화하기 위해, 우리는 이진 코딩 방식 대신 다중 코드북 양자화 접근법을 채택합니다. 각 코드는 (3, 2, 1, 8)와 같은 여러 개의 이산 숫자로 구성되며, 각 구성 요소의 값은 고정된 범위 내에 제한됩니다. 우리는 Gumbel-softmax 트릭을 적용하여 엔드투엔드 신경망에서 직접 이산 코드를 학습하는 방법을 제안합니다. 실험 결과 감성 분석 작업에서는 압축률이 98%를 달성하였으며, 기계 번역 작업에서는 94% ~ 99%의 압축률을 성능 저하 없이 달성하였습니다. 두 작업 모두에서 제안된 방법은 약간의 압축률 저하를 허용함으로써 모델 성능을 개선할 수 있습니다. 문자 수준 분할 등의 다른 접근법과 비교할 때, 제안된 방법은 언어 독립적이며 네트워크 구조에 대한 수정이 필요하지 않습니다.