要約
誤りタイプ情報は、文法的誤り訂正（GEC）モデルの性能向上に広く用いられており、訂正の生成、再ランク付け、あるいはGECモデルの統合においても有効である。異なる誤りタイプに対して補完的な強みを持つGECモデルを組み合わせることにより、より優れた訂正結果を得ることが可能である。しかしながら、システムの統合には、統合手法を実行する前にベースモデルの推論を複数回実行する必要があるため、計算コストが高くなるという課題がある。そこで、異なる誤りタイプの訂正に特化した複数のサブネットワークを備えた単一モデルを導入することで、より効率的なアプローチが可能となる。本論文では、文法的誤り訂正を目的とした「Mixture-of-Experts」モデル、MoECEを提案する。本モデルは、T5-XLと同等の性能を達成しつつ、有効パラメータ数を3分の1に削減することに成功した。さらに、推論時に誤りタイプの同定も行うことで、訂正結果の解釈可能性を高めるという利点も持つ。