HyperAIHyperAI

Command Palette

Search for a command to run...

Jabarti-LLM アラビア語 & 英語事前学習コーパスデータセット

Jabarti LLM は、Abu Bakr Soliman によって公開されたバイリンガル大規模言語モデル訓練データセットであり、アラビア語と英語の小規模言語モデルの事前学習、ドメイン適応、教師ありファインチューニングにコーパスを提供することを目的としています。

このデータセットにはアラビア語と英語の連続するテキスト断片が含まれ、各レコードの長さは約 120~1,500 文字で、記事タイトルおよび章見出しは除去されています。データは、厳選されたエジプト歴史コーパスと多言語 Wikipedia からの一般知識テキストを組み合わせ、クリーニング、セグメント化、出典整理を経て、アラビア語と英語の一般的な言語カバレッジおよびエジプト歴史領域の知識の両方をカバーしています。

データセットの構成

  • 事前学習コーパス:アラビア語と英語の連続するテキスト断片を含み、各レコードの長さは約 120~1,500 文字で、記事タイトルおよび章見出しは除去されています;
  • エジプト歴史コーパス:厳選されたエジプト歴史関連コンテンツを収録し、egypt_relevance などのフィールドと組み合わせて歴史テーマのデータを絞り込めます;
  • Wikipedia コーパス:CohereLabs/wikipedia-2023-11-embed-multilingual-v3 からのアラビア語および英語の一般知識テキストを統合しています;
  • 質問応答ファインチューニングデータ:アラビア語と英語の質問応答サンプルを提供し、質問、回答、言語、質問タイプ、難易度などの情報を含み、教師ありファインチューニングをサポートします;
  • データソースと品質フィールド:ds_source、language、content_quality、topic_domain などのフィールドを通じて出典、言語、内容品質、トピック領域を記録し、データのフィルタリングとサンプリングを容易にします;
  • データ分割:事前学習およびファインチューニングの設定、ならびに訓練セット、評価セット、旧版フローと互換性のあるステージ分割を提供し、異なる訓練段階での使用をサポートします。

AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています