MiniMind 大規模モデルトレーニング微調整データセット

MiniMind は、大規模言語モデル (LLM) の使用のハードルを下げ、個々のユーザーが一般的なデバイスで迅速にトレーニングおよび推論できるようにすることを目的とした、オープンソースの軽量大規模言語モデル プロジェクトです。

MiniMind には、単語セグメンターのトレーニング用のトークナイザー トレーニング セット、モデルの事前トレーニング用の Pretrain データ、教師あり微調整用の SFT データ、報酬モデルのトレーニング用の DPO データ 1 と DPO データ 2 など、複数のデータセットが含まれています。これらのデータセットは、Jiangshu Technology の SFT データ、Qwen2.5 の蒸留データなど、さまざまなソースから統合されており、合計約 30 億トークンで、大規模な中国語モデルの事前トレーニングに適しています。