MiniMind は、大規模言語モデル (LLM) の使用のハードルを下げ、個々のユーザーが一般的なデバイスで迅速にトレーニングおよび推論できるようにすることを目的とした、オープンソースの軽量大規模言語モデル プロジェクトです。 MiniMind には、単語セグメンターのトレーニング用のトークナイザー トレーニング セット、モデルの事前トレーニング用の Pretrain データ、教師あり微調整用の SFT データ、報酬モデルのトレーニング用の DPO データ 1 と DPO データ 2 など、複数のデータセットが含まれています。これらのデータセットは、Jiangshu Technology の SFT データ、Qwen2.5 の蒸留データなど、さまざまなソースから統合されており、合計約 30 億トークンで、大規模な中国語モデルの事前トレーニングに適しています。

引用

@misc{minimind、 タイトル = {MiniMind: ゼロから小さなLLMを育成する}、 著者 = {Jingyao Gong}、 年 = {2024}、 url = {https://github.com/jingyaogong/minimind}, 注記 = {GitHubリポジトリ、アクセス日：2026年} }