HyperAI
Command Palette
Search for a command to run...
Jabarti-LLM 阿拉伯语 & 英语预训练语料数据集
Jabarti LLM 是由 Abu Bakr Soliman 发布的一个双语大语言模型训练数据集,旨在为阿拉伯语与英语小型语言模型的预训练、领域适配和监督微调提供语料支持。
该数据集包含阿拉伯语和英语的连续文本片段,每条记录长度约为 120 至 1,500 个字符,并移除文章标题及章节标题。数据结合精选的埃及历史语料与来自多语言维基百科的通用知识文本,经过清洗、分段及来源整理,兼顾阿拉伯语与英语的通用语言覆盖和埃及历史领域知识。
数据集组成
- 预训练语料:包含阿拉伯语和英语的连续文本片段,每条记录长度约为 120 至 1,500 个字符,并移除文章标题及章节标题;
- 埃及历史语料:收录精选的埃及历史相关内容,可结合 egypt_relevance 等字段筛选历史主题数据;
- 维基百科语料:整合来自 CohereLabs/wikipedia-2023-11-embed-multilingual-v3 的阿拉伯语和英语通用知识文本;
- 问答微调数据:提供阿拉伯语和英语问答样本,包含问题、答案、语言、问题类型及难度等信息,支持监督微调;
- 数据来源与质量字段:通过 ds_source、language、content_quality、topic_domain 等字段记录来源、语言、内容质量和主题领域,便于数据筛选与采样;
- 数据划分:提供预训练和微调配置,以及训练集、评估集和兼容旧版流程的阶段划分,支持不同训练阶段的使用。
此数据集由社区用户贡献,仅用于教育和信息目的。如有任何内容涉及版权侵权,请通过 [email protected] 联系我们,我们将及时审核并删除。