自然言語処理（NLP）の多くのタスクにおいて、最先端の成果を達成するための重要なステップとして、言語モデルが注目されている。近年、膨大な量のラベルなしテキストデータが利用可能となったことを活かし、言語モデルは、文脈に応じた連続的単語表現を効率的に事前学習する手法を提供しており、下流タスクへの微調整（fine-tuning）と文レベルでの文脈化を併せて行うことが可能である。このアプローチは、英語において文脈化表現（contextualized representations）を用いた研究によって広く実証されてきた（Dai and Le, 2015; Peters et al., 2018; Howard and Ruder, 2018; Radford et al., 2018; Devlin et al., 2019; Yang et al., 2019b）。本論文では、非常に大規模かつ多様なフランス語コーパス上で学習されたFlauBERTというモデルを紹介し、公開する。異なるサイズのモデルは、フランス国立科学研究センター（CNRS）が所有する最新のスーパーコンピュータ「Jean Zay」を用いて学習された。我々は、フランス語言語モデルを多様なNLPタスク（テキスト分類、類義表現検出、自然言語推論、構文解析、語義の曖昧さ解消）に適用し、その多くにおいて他の事前学習アプローチを上回る性能を示した。FlauBERTのさまざまなバージョンおよび下流タスクの統一評価プロトコルであるFLUE（French Language Understanding Evaluation）を、フランス語NLP分野における再現可能な実験を促進する目的で、研究コミュニティに公開する。