SFT DataBlend V1 は、NVIDIA によって 2024 年に公開された、指示微調整（Instruction Fine-tuning）向けの高质量データセットであり、大規模言語モデルに対し、厳格に選別および混合された指示データを供給することを目的としています。

このデータセットは、OASST、CodeContests、FLAN、T0、Open_Platypus、GSM8K などのサンプルを含む、複数の公開データセットの混合集合です。 商業利用の可用性を確保するため、この混合データセットには寛容なライセンスを持つサブセットのみが含まれており、サンプリング率やデータセットのサイズに応じて、一部のサブセットに対して複数回のサンプリング処理が施されています。 自然言語理解、論理推論、コード生成、数学的解答など、多様な領域をカバーしており、モデルの訓練に対して豊富で多様なデータサポートを提供します。

データセットの構成

データセットには主に以下のフィールドが含まれます：

• conversations：会話内容。ユーザーとアシスタントの複数ターンにわたるインタラクション形式で整理されています。
• mask：損失計算に参加するかしないかを識別する会話内のターン。デフォルトではユーザーのターンがマスクされています。
• system：システムプロンプト。デフォルトでは空です。
• dataset：データソースの識別子。サンプルが属する元のデータセットを追跡するために使用されます。

データセットは複数の公開データセットを統合しており、以下のタスクタイプをカバーしています：

• 自然言語理解：MNLI、QNLI、SNLI などを含みます。
• 質問応答と読解：SQuAD、DROP、Natural Questions、TriviaQA などを含みます。
• 論理および常識推論：ARC、HellaSwag、PIQA、COPA などを含みます。
• 数学的推論：GSM8K、SciBench、PRM800K などを含みます。
• コード生成：CodeContests、tigerbot-leetcodesolutions-en-2k などを含みます。
• テキスト生成：FLAN、T0、DART、E2ENLG などを含みます。