MERGE: 高速プライベートテキスト生成

言語モデルのパラメータ数の急激な増加により、これらのモデルをクラウドサーバーに展開する新しい傾向が生まれており、これによりTransformerベースのモデルにおけるプライベート推論に関する懸念が高まっています。既存の二つの当事者間プライバシー保護技術は、自然言語理解（NLU）のシナリオのみを考慮しています。翻訳やコード補完などのアプリケーションにとって重要な自然言語生成（NLG）におけるプライベート推論は、まだ十分に研究されていません。さらに、以前のプライバシー保護技術はモデル訓練中に収束問題を引き起こし、自己回帰生成における時間のかかる操作を無視しているため、NLGモデルを使用した場合に推論速度が著しく低下します。これらの課題に対処するために、私たちはTransformerベースの言語モデル向けの高速プライベートテキスト生成フレームワークであるMERGEを提案します。MERGEは出力隠れ状態を単語埋め込みとして再利用することで埋め込み計算を回避し、Transformerモジュール内の線形演算を再構成して前向き処理を加速します。広範な実験結果から、MERGEはシーケンス長512の場合、通常の暗号化されたモデルに対して26.5倍の高速化を達成し、通信コストも80%削減されることが示されました。また、最先端の近似モデルに対して最大10倍の高速化が確認されています。