Magpie-Pro-300K-Filtered 数据集是使用 Magpie 方法合成的高质量指令数据集,它是从 Llama-3 70B 中提取的。这个数据集包含约 300k 条高质量的对话,是通过一个自动化的自合成过程生成的,该过程利用了对齐的 LLMs 的自回归特性来生成用户查询和相应的回复。
该数据集由 Llama 3 70B Instruct 使用 Magpie 生成。请参阅论文和代码库以了解细节。
这是过滤后的数据。请不要同时使用 Magpie-Pro-300K-Filtered 和 Magpie-Pro-MT-300K 来微调模型,因为它们在第一轮中大致相同。
Magpie-align 项目是一个用于从大型语言模型 (LLMs) 自身直接合成高质量指令数据的自合成方法,其名称为 Magpie 。该项目的关键思想是利用对齐的 LLMs(如 Llama-3-Instruct)的自回归特性,仅通过输入预查询模板即可生成用户查询。通过这种方法,Magpie 能够生成数百万条指令及其相应的响应,并从中选择高质量的实例以形成数据集。
做种 1
下载中 0
已完成 16
总下载 39