多次元事前学習データスクリーニングフレームワークMeta-rater

2025年6月4日、上海人工知能研究所と華東師範大学は、言語モデルの事前学習のための多次元データ選択法（Meta-rater）を提案しました。最適な重みを学習することで、専門性、読みやすさ、推論性、清潔さという4つの次元を既存の品質指標と統合することを目的としています。メタ評価者：言語モデルの事前学習のための多次元データ選択手法」はACL 25ベストテーマペーパー賞を受賞しました。

Meta-raterは、代替モデルを用いて回帰モデルを学習し、検証セットの損失を予測することで、最適な品質スコアの組み合わせを特定します。実験結果によると、Meta-raterは13億パラメータのモデルの収束速度を3倍に向上させ、下流タスクのパフォーマンスを3.23%向上させることができました。この利点は、72億パラメータのモデルにも拡張可能です。