Common Corpus 通用语料库

Common Corpus 是一个由 PleIAs 于 2024 年发布的，包含超过 2 万亿个 tokens 的大型、开放且允许使用的文本数据集，它由 5 个多样化的子集组成，覆盖了书籍、报纸、科学文章、政府和法律文件、代码等多种类型的文本。 5 个子集分别是：

• OpenCulture：包含公共领域书籍、报纸和 Wikisource 内容。
• OpenGovernment：包含金融和法律文件，如 SEC 和 WTO 的文件。
• OpenSource：包含 GitHub 上的高质量代码。
• OpenScience：包含学术内容，如 Open Alex 和法国论文。
• OpenWeb：包含 Wikipedia 、 YouTube Commons 和 Stack Exchange 等网站的内容。

Common Corpus 的数据可以用于商业和非商业目的，支持按语言和年份过滤数据。尽管数据集已经移除了高毒性内容和个人身份信息，但仍可能存在一些偏见和敏感信息。数据集的发布伴随着详细的技术报告，确保透明度和可重复性。 Common Corpus 得到了包括 AI Alliance 、 Jean Zay 、 Nvidia Inception program 等多个组织和社区的支持。