Common Corpus 通用语料库

日期

7 天前

机构

发布地址

huggingface.co

许可协议

非商业用途

下载帮助

Common Corpus 是一个由 PleIAs 于 2024 年发布的,包含超过 2 万亿个 tokens 的大型、开放且允许使用的文本数据集,它由 5 个多样化的子集组成,覆盖了书籍、报纸、科学文章、政府和法律文件、代码等多种类型的文本。 5 个子集分别是:

  • OpenCulture:包含公共领域书籍、报纸和 Wikisource 内容。
  • OpenGovernment:包含金融和法律文件,如 SEC 和 WTO 的文件。
  • OpenSource:包含 GitHub 上的高质量代码。
  • OpenScience:包含学术内容,如 Open Alex 和法国论文。
  • OpenWeb:包含 Wikipedia 、 YouTube Commons 和 Stack Exchange 等网站的内容。

Common Corpus 的数据可以用于商业和非商业目的,支持按语言和年份过滤数据。尽管数据集已经移除了高毒性内容和个人身份信息,但仍可能存在一些偏见和敏感信息。数据集的发布伴随着详细的技术报告,确保透明度和可重复性。 Common Corpus 得到了包括 AI Alliance 、 Jean Zay 、 Nvidia Inception program 等多个组织和社区的支持。