HyperAI
Command Palette
Search for a command to run...
Jabarti-LLM アラビア語 & 英語事前学習コーパスデータセット
Jabarti LLM は、Abu Bakr Soliman によって公開されたバイリンガル大規模言語モデル訓練データセットであり、アラビア語と英語の小規模言語モデルの事前学習、ドメイン適応、教師ありファインチューニングにコーパスを提供することを目的としています。
このデータセットにはアラビア語と英語の連続するテキスト断片が含まれ、各レコードの長さは約 120~1,500 文字で、記事タイトルおよび章見出しは除去されています。データは、厳選されたエジプト歴史コーパスと多言語 Wikipedia からの一般知識テキストを組み合わせ、クリーニング、セグメント化、出典整理を経て、アラビア語と英語の一般的な言語カバレッジおよびエジプト歴史領域の知識の両方をカバーしています。
データセットの構成
- 事前学習コーパス:アラビア語と英語の連続するテキスト断片を含み、各レコードの長さは約 120~1,500 文字で、記事タイトルおよび章見出しは除去されています;
- エジプト歴史コーパス:厳選されたエジプト歴史関連コンテンツを収録し、egypt_relevance などのフィールドと組み合わせて歴史テーマのデータを絞り込めます;
- Wikipedia コーパス:CohereLabs/wikipedia-2023-11-embed-multilingual-v3 からのアラビア語および英語の一般知識テキストを統合しています;
- 質問応答ファインチューニングデータ:アラビア語と英語の質問応答サンプルを提供し、質問、回答、言語、質問タイプ、難易度などの情報を含み、教師ありファインチューニングをサポートします;
- データソースと品質フィールド:ds_source、language、content_quality、topic_domain などのフィールドを通じて出典、言語、内容品質、トピック領域を記録し、データのフィルタリングとサンプリングを容易にします;
- データ分割:事前学習およびファインチューニングの設定、ならびに訓練セット、評価セット、旧版フローと互換性のあるステージ分割を提供し、異なる訓練段階での使用をサポートします。
このデータセットはコミュニティユーザーによって提供されており、教育および情報提供のみを目的としています。著作権侵害に関わるコンテンツがある場合は、[email protected]までご連絡ください。速やかに確認し、削除いたします。