大規模なシーケンスタガーのアンサンブルと知識蒸留による文法誤り訂正

本稿では、大規模なTransformerベースのエンコーダを用いた最新鋭のモデルのアンサンブルに注目し、GEC（文書修正）のシーケンスタグGINGアーキテクチャの改善を検討する。特に、スパンレベルでの修正に対して多数決によるアンサンブルを推奨する。このアプローチはモデルアーキテクチャや語彙サイズの違いに対して高いロバスト性を示すため、汎用性が高く、実用的である。我々が得た最良のアンサンブルモデルは、合成データセットへの事前学習を行わずとも、BEA-2019（テスト）における $F_{0.5}$ スコア76.05を達成し、新たなSOTA（最良の結果）を記録した。さらに、学習済みアンサンブルモデルを用いた知識蒸留により、新たな合成学習データセット「Troy-Blogs」と「Troy-1BW」を生成した。これらの生成されたTroyデータセットに加え、公開されている合成データセットPIEを用いて事前学習を行った単一のシーケンスタグGINGモデルは、近似SOTAの性能を達成した（当該研究の知る限り、同性能を上回るモデルは、より重いT5モデルのみである。その $F_{0.5}$ スコアはBEA-2019（テスト）で73.21であった）。本研究で使用したコード、データセット、および学習済みモデルはすべて公開されている。