並列反復編集モデルによる局所的シーケンス変換

文法誤り訂正（GEC）などのタスクに見られる局所的シーケンス変換問題に対して、並列反復編集（Parallel Iterative Edit: PIE）モデルを提案する。近年のアプローチは、シーケンスからシーケンスへの学習に広く用いられているエンコーダ・デコーダ（ED）モデルに基づいている。EDモデルは出力トークン間の完全な依存関係を自己回帰的に捉えることができるが、逐次的なデコードにより処理が遅いという課題がある。一方、PIEモデルは並列的なデコードを実現し、出力における完全な依存関係のモデル化という利点を放棄しているものの、以下の4つの理由によりEDモデルと同等の精度を達成している。1. トークンの生成ではなく、編集操作の予測を行うこと、2. シーケンスの生成ではなく、シーケンスのラベル付けを行うこと、3. 予測を反復的に精緻化することで依存関係を捉えること、4. BERTのような事前学習済み言語モデルを活用するため、編集とそのトークン引数に対するロジットを因子分解すること。GEC、OCR誤字訂正、スペル訂正といった複数のタスクにおける実験結果から、PIEモデルは局所的シーケンス変換において精度が高く、かつ著しく高速な代替手法であることが示された。