言語適切性（LA）は、言語モデルの文法知識をテストしたり、適切性分類器を使用して非現実的なテキストをフィルタリングするなど、多くの用途があるため、研究コミュニティの注目を集めています。しかし、英語以外の言語におけるLAの適用範囲は、高品質なリソースの不足により制限されています。この問題に対処するために、私たちはロシア語の言語適切性コーパス（RuCoLA）を紹介します。これは確立された二値LAアプローチに基づいてゼロから構築されました。RuCoLAには、言語学的出版物からの9,800文と生成モデルによって生成された3,600文が含まれています。外域セットは、適切性を活用して言語生成を改善するための実践的な使用を容易にするために作成されました。本論文ではデータ収集プロトコルについて説明し、基準となる手法を使用した適切性分類実験の詳細な分析結果を提示しています。特に、最も広く使用されている言語モデルでもまだ人間と比べて大きな差があり、特に形態素的および意味的な誤り検出においてその差が顕著であることを示しています。私たちはRuCoLA、実験コード、および公開リーダーボード（rucola-benchmark.com）を提供し、ロシア語に対する言語モデルの言語能力を評価することを目指しています。