マスク言語モデルを使用してエンコーダーを事前学習するべきか？

高品質なテキスト表現を学習することは、多くの自然言語処理（NLP）タスクにおいて基本的な要素である。エンコーダーの事前学習は従来、マスク言語モデル（Masked Language Modeling: MLM）に依存していたが、最近の研究では、因果言語モデル（Causal Language Modeling: CLM）で事前学習されたデコーダーモデルがエンコーダーとして再利用され、しばしば伝統的なエンコーダーを上回ることが示されている。しかし、これらの改善がCLM目標の内在的な優位性から来るものなのか、モデルやデータの規模などの混在要因から生じているのかは依然として不明である。本論文では、この問題に対処するために大規模かつ慎重に制御された事前学習アブレーションの一連の実験を行った。210百万パラメータから10億パラメータまでの合計30のモデルを訓練し、15,000回以上の微調整と評価を行った。その結果、MLMでの訓練は一般的にテキスト表現タスク全体でより良い性能をもたらすことが確認されたが、CLMで訓練されたモデルはデータ効率が高く、微調整の安定性も向上することがわかった。これらの知見に基づいて、我々は実験的にCLMとその後MLMを順次適用する二相訓練戦略が固定された計算資源内で最適な性能を達成することを示した。さらに、既存の大規模言語モデル（LLM）エコシステムから容易に入手可能な事前学習済みCLMモデルを使用して初期化することで、最高クラスのエンコーダーモデルを訓練するための計算負荷が軽減されることを示した。本プロジェクトに関連するすべての資料はhttps://hf.co/MLMvsCLMで公開しており、さらなる研究を促進することを目指している。