多言語文法誤り訂正のためのシンプルなレシピ

本論文では、最先端の多言語文法誤り訂正（GEC）モデルを訓練するためのシンプルな手法を提示する。我々は、まず大量の合成例を生成するための言語に依存しない手法を提案する。次に、大規模な多言語言語モデル（最大110億パラメータ）を用いる。これらのモデルを言語固有の教師ありデータセット上でファインチューニングすることで、英語、チェコ語、ドイツ語、ロシア語の4言語において、従来の最先端性能を上回る結果を得た。GEC分野における新たなベースラインを確立した上で、我々は「cLang-8」というデータセットを公開することで、結果の再現性と利用可能性を高めた。cLang-8は、広く利用されているがノイズが多いLang-8データセットのターゲットを、我々が「gT5」と呼ぶ最良のモデルでクリーニングすることで生成された。cLang-8は、従来の複数のファインチューニングステップを含む典型的なGECトレーニングパイプラインを大幅に簡素化する。本研究では、既に優れた性能を示すgT5モデルを上回る精度向上を、オフ・ザ・シェルの言語モデルを用いてcLang-8上で単一のファインチューニングステップを行うことで実現できることを示した。