Seq2Seq文法誤り訂正の改善に向けたデコーディング介入

シーケンス・トゥ・シーケンス（Seq2Seq）アプローチは、最近、文法的誤り訂正（GEC）において広く用いられ、有望な性能を示している。しかし、Seq2Seqを用いたGEC手法には依然として二つの課題が存在する。第一に、Seq2Seq GECモデルは並列データ（平行データ）上でのみ学習可能であり、GECタスクにおいてはそのデータがしばしばノイズを含み、量的にも限られている。第二に、Seq2Seq GECモデルのデコーダーは、生成中のトークンの正しさについて明示的な認識を持たない。本論文では、外部の批判者（critic）を用いて、生成されるトークンの適切さを段階的に評価し、その結果をもとに次のトークン選択を動的に制御する統一的なデコーディング干渉フレームワークを提案する。我々は、事前学習済みの左から右への言語モデルを用いた批判者と、段階的にターゲット側の文法的誤りを検出する批判者の二種類の批判者を発見し、その性能を検証した。英語および中国語のデータセットにおける広範な実験の結果、本フレームワークは強力なベースラインを一貫して上回り、最先端の手法と比較しても競争力のある性能を達成した。