Ensemble De Données De Réglage Fin Pour La Formation De Grands Modèles MiniMind

MiniMind est un projet open source de modèle de langage léger et volumineux qui vise à abaisser le seuil d'utilisation des modèles de langage volumineux (LLM) et à permettre aux utilisateurs individuels de s'entraîner et de déduire rapidement sur des appareils ordinaires.

MiniMind contient plusieurs ensembles de données, tels que l'ensemble d'entraînement du tokenizer pour l'entraînement du segmenteur de mots, les données de pré-entraînement pour le pré-entraînement du modèle, les données SFT pour le réglage fin supervisé et les données DPO 1 et DPO 2 pour l'entraînement du modèle de récompense. Ces ensembles de données sont intégrés à partir de différentes sources, telles que les données SFT de Jiangshu Technology, les données distillées Qwen2.5, etc., avec un total d'environ 3 milliards de jetons, qui conviennent à la pré-formation de grands modèles de langue chinoise.