Magpie-Pro-300K-Filtered 高质量对齐数据集

日期

4 个月前

大小

469.91 MB

机构

Allen Institute for Artificial Intelligence
University of Washington

发布地址

huggingface.co

特色图像

Magpie-Pro-300K-Filtered 数据集是使用 Magpie 方法合成的高质量指令数据集,它是从 Llama-3 70B 中提取的。这个数据集包含约 300k 条高质量的对话,是通过一个自动化的自合成过程生成的,该过程利用了对齐的 LLMs 的自回归特性来生成用户查询和相应的回复。

该数据集由 Llama 3 70B Instruct 使用 Magpie 生成。请参阅论文代码库以了解细节。

这是过滤后的数据。请不要同时使用 Magpie-Pro-300K-Filtered 和 Magpie-Pro-MT-300K 来微调模型,因为它们在第一轮中大致相同。

数据集背景

Magpie-align 项目是一个用于从大型语言模型 (LLMs) 自身直接合成高质量指令数据的自合成方法,其名称为 Magpie 。该项目的关键思想是利用对齐的 LLMs(如 Llama-3-Instruct)的自回归特性,仅通过输入预查询模板即可生成用户查询。通过这种方法,Magpie 能够生成数百万条指令及其相应的响应,并从中选择高质量的实例以形成数据集。

Magpie-Pro-300K-Filtered.torrent

做种 1

下载中 0

已完成 16

总下载 39

  • Magpie-Pro-300K-Filtered/
    • README.md
      1.91 KB
    • README.txt
      3.83 KB
      • data/
        • Magpie-Pro-300K-Filtered.zip
          469.91 MB