要約
本稿では、GPT-3.5を複数言語における文法誤り訂正（GEC）に応用する可能性を、以下の3つの設定で検討する：ゼロショットGEC、GEC向けのファインチューニング、および他のGECモデルが生成した訂正仮説をGPT-3.5を用いて再ランク付けする手法。ゼロショット設定では、GPT-3.5が提案する訂正結果について、複数の自動評価手法を用いて検証を行う。具体的には、言語モデル（LM）による文法的妥当性の推定、Scribendiテスト、および文の意味表現（セマンティック埋め込み）の比較を実施する。GPT-3.5には、誤った文に対して過剰に訂正を行い、代替的な訂正案を提示する傾向があることが知られている。特にチェコ語、ドイツ語、ロシア語、スペイン語、ウクライナ語などの言語において、GPT-3.5は元の文の意味まで大きく変更する傾向があり、参照ベースの評価指標を用いた評価に大きな課題をもたらす。一方、英語に関しては、GPT-3.5は高いリコールを示し、流暢な訂正結果を生成し、文の意味を概ね保持している。しかし、英語およびロシア語についての人的評価により、GPT-3.5は強力な誤り検出能力を有するものの、句読点の誤り、時制の誤り、語の間の構文的依存関係、文レベルでの語彙的整合性といった特定の誤りタイプに対しては依然として困難を抱えていることが明らかになった。