要約
近年の言語モデルに関する進展により、計算リソースを大量に要する最先端モデルが登場している。持続可能な実践への取り組みの一環として、本研究では、コンパクトな言語モデルにおける事前学習データ量の影響を検討した。複数のBERTベースのモデルを、段階的に増加するフランス語テキスト量で学習させた。フランス語質問応答データセット（FQuAD）における微調整（fine-tuning）を通じて、わずか100MBのテキスト量でも優れた性能を発揮するモデルが得られることを確認した。さらに、過去に極めて限られた事前学習データ量が使用された場合でも、タスク固有のコーパス上で中間段階の事前学習を行っても、性能向上は著しくないことが示された。