文法的誤り訂正（GEC）モデルの訓練には、文法的に誤りのある文と正しい文のラベル付きペアが必要となるが、このようなペアを手動でアノテートすることは費用がかかる。近年、Break-It-Fix-It（BIFI）フレームワークは、ラベル付き例を一切用いずに壊れたプログラムを修復する能力を示しており、強力な成果を上げている。しかし、このアプローチは、ある例が有効かどうかを正確に判定する「完璧なクリティック」（たとえばコンパイラ）に依存しており、GECタスクではこのようなクリティックは存在しない。本研究では、事前学習済み言語モデル（LM）を活用して、LM-Criticを構築する方法を提示する。LM-Criticは、ある文に対してLMが与える確率が、その局所的な変種（摂動）よりも高い場合に、その文を文法的に正しいと判断する。本研究では、このLM-CriticとBIFIを、大量のラベルなし文を用いて組み合わせ、現実的な文法的誤りあり／なしペアを自己生成し、訂正モデルの訓練に用いる。複数のドメイン（CoNLL-2014、BEA-2019、GMEG-wiki、GMEG-yahoo）におけるGECデータセット上で本手法を評価した結果、無監督設定（F0.5で+7.7ポイント向上）および監督設定（F0.5で+0.5ポイント向上）の両方で、既存手法を上回ることを示した。