语言模型参数的急剧增加导致了一种新的趋势，即将模型部署在云服务器上，这引发了对基于Transformer模型的私有推理日益增长的担忧。现有的两方隐私保护技术仅考虑了自然语言理解（NLU）场景，而自然语言生成（NLG）中的私有推理问题，对于翻译和代码补全等应用至关重要，却尚未得到充分研究。此外，以往的隐私保护技术在模型训练过程中存在收敛问题，并且由于忽视了自回归生成中耗时的操作，在应用于NLG模型时表现出较差的推理速度。为了解决这些问题，我们提出了一种针对基于Transformer的语言模型的快速私有文本生成框架——MERGE。MERGE通过重用输出隐藏状态作为词嵌入来绕过嵌入计算，并重新组织Transformer模块中的线性操作以加速前向过程。大量实验表明，在序列长度为512的情况下，MERGE比未加密的基本模型实现了26.5倍的速度提升，并减少了80%的通信成本，相比最先进的近似模型最高可实现10倍的速度提升。