HyperAI
Command Palette
Search for a command to run...
HelpSteer ヘルプフルアライメントデータセット
HelpSteer は、NVIDIA が 2023 年にリリースした、大規模言語モデルの整合性(アライメント)用のデータセットです。モデルの回答における有用性、正確性、一貫性を向上させることを目的としており、回答の複雑さや詳細さの調整に対応しています。関連する論文の成果は「HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM」にあります。
このデータセットには、書き直し、要約、分類、抽出、質問応答など、さまざまなタスクタイプを含む 37,120 件のサンプルが含まれています。各サンプルには、プロンプト、モデルの応答、および人間によるアノテーションに基づく有用性、正確性、一貫性、複雑さ、詳細さの 5 つの属性スコアが含まれており、スコアの範囲は 0 から 4 です。データは Scale AI によってアノテーションされ、主に大規模言語モデルのトレーニング、評価、およびモデル整合性研究に使用されます。
データセットの構成
データセットは、トレーニングセットと検証セットの 2 部分に分かれています。
- トレーニングセット(train):35,331 件のサンプル。
- 検証セット(validation):1,789 件のサンプル。
各サンプルには主に以下のフィールドが含まれています。
- prompt:入力プロンプト。
- response:大規模言語モデルによって生成された応答。
- helpfulness:有用性のスコア。
- correctness:正確性のスコア。
- coherence:一貫性のスコア。
- complexity:複雑さのスコア。
- verbosity:詳細さのスコア。
引用
@misc{wang2023helpsteer,
title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM},
author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
year={2023},
eprint={2311.09528},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{dong2023steerlm,
title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF},
author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
year={2023},
eprint={2310.05344},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
このデータセットはコミュニティユーザーによって提供されており、教育および情報提供のみを目的としています。著作権侵害に関わるコンテンツがある場合は、[email protected]までご連絡ください。速やかに確認し、削除いたします。