Magpie-Pro-300K-Filtered 数据集是使用 Magpie 方法合成的高质量指令数据集，它是从 Llama-3 70B 中提取的。这个数据集包含约 300k 条高质量的对话，是通过一个自动化的自合成过程生成的，该过程利用了对齐的 LLMs 的自回归特性来生成用户查询和相应的回复。

该数据集由 Llama 3 70B Instruct 使用 Magpie 生成。请参阅论文和代码库以了解细节。

这是过滤后的数据。请不要同时使用 Magpie-Pro-300K-Filtered 和 Magpie-Pro-MT-300K 来微调模型，因为它们在第一轮中大致相同。

数据集背景

Magpie-align 项目是一个用于从大型语言模型 (LLMs) 自身直接合成高质量指令数据的自合成方法，其名称为 Magpie 。该项目的关键思想是利用对齐的 LLMs（如 Llama-3-Instruct）的自回归特性，仅通过输入预查询模板即可生成用户查询。通过这种方法，Magpie 能够生成数百万条指令及其相应的响应，并从中选择高质量的实例以形成数据集。