MERGE: 빠른 개인 텍스트 생성

언어 모델의 매개변수 급증은 클라우드 서버에서 모델을 배포하는 새로운 트렌드를 이끌었으며, 이는 Transformer 기반 모델의 개인 정보 보호 추론에 대한 우려를 증가시키고 있습니다. 그러나 기존의 양자 간 개인 정보 보호 기술은 자연어 이해(NLU) 시나리오만을 고려하고 있습니다. 번역 및 코드 완성과 같은 응용 프로그램에서 중요한 자연어 생성(NLG) 추론의 개인 정보 보호는 아직 충분히 연구되지 않았습니다. 또한, 이전의 개인 정보 보호 기술들은 모델 훈련 중 수렴 문제를 겪으며, 자동 회귀 생성에서 시간이 많이 소요되는 연산을 무시하기 때문에 NLG 모델과 함께 사용할 때 추론 속도가 저조합니다.이러한 문제들을 해결하기 위해, 우리는 Transformer 기반 언어 모델을 위한 빠른 개인 정보 보호 텍스트 생성 프레임워크인 MERGE를 제안합니다. MERGE는 임베딩 계산을 생략하기 위해 출력 은닉 상태를 단어 임베딩으로 재사용하며, Transformer 모듈 내의 선형 연산을 재구성하여 순방향 절차를 가속화합니다. 광범위한 실험 결과에 따르면, MERGE는 시퀀스 길이 512에서 일반적인 암호화된 모델보다 26.5배 빠른 속도로 동작하며, 통신 비용을 80% 감소시키며, 최신 근사 모델보다 최대 10배 빠른 속도를 나타냅니다.