要約
私たちは、多層畳み込みエンコーダー-デコーダーニューラルネットワークを使用して、テキスト内の文法的、正書法的、および語彙的誤りの自動訂正を改善しました。このネットワークは、文字N-グラム情報を活用した埋め込みで初期化され、このタスクに適するように設計されています。一般的なベンチマークテストデータセット（CoNLL-2014 および JFLEG）での評価では、私たちのモデルはこのタスクにおける以前のニューラルアプローチだけでなく、同じデータで訓練された強力な統計機械翻訳ベースのシステム（ニューラル特徴量とタスク固有の特徴量を含む）も大幅に上回りました。分析結果によると、長短期記憶（LSTM）ネットワークなどの再帰型ニューラルネットワークと比較して、畳み込みニューラルネットワークが注意機構を通じて局所的なコンテキストをより効果的に捉えることができることから、文法的誤りの訂正範囲が向上しています。複数のモデルをアンサンブルし、N-グラム言語モデルと編集特徴量を再スコアリングによって組み込むことで、私たちの新しい手法は文法的正確さと流暢性において現行の最先端である統計機械翻訳ベースの手法を超える初めてのニューラルアプローチとなりました。