HelpSteer는 NVIDIA가 2023년에 발표한 대규모 언어 모델 정렬을 위한 데이터셋으로, 모델 응답의 도움성, 정확성, 일관성을 향상시키고 응답의 복잡성과 상세 수준을 조정할 수 있도록 설계되었습니다. 관련 논문 성과는 「HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM」입니다.

이 데이터셋은 37,120개의 샘플을 포함하며, 재작성, 요약, 분류, 추출, 질의응답 등 다양한 작업 유형을 다룹니다. 각 샘플에는 프롬프트, 모델 응답, 그리고 인간이 주석을 단 도움성, 정확성, 일관성, 복잡성, 상세 수준의 다섯 가지 속성 점수가 포함되며, 점수 범위는 0에서 4까지입니다. 데이터는 Scale AI가 주석을 조직했으며, 주로 대규모 언어 모델 훈련, 평가 및 모델 정렬 연구에 사용됩니다.

데이터셋 구성

데이터셋은 훈련 세트와 검증 세트의 두 부분으로 나뉩니다:

• 훈련 세트(train): 35,331개 샘플.
• 검증 세트(validation): 1,789개 샘플.

각 샘플에는 주로 다음 필드가 포함됩니다:

• prompt: 입력 프롬프트.
• response: 대규모 언어 모델이 생성한 응답.
• helpfulness: 도움성 점수.
• correctness: 정확성 점수.
• coherence: 일관성 점수.
• complexity: 복잡성 점수.
• verbosity: 상세 수준 점수.

Citation

@misc{wang2023helpsteer,
      title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, 
      author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
      year={2023},
      eprint={2311.09528},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dong2023steerlm,
      title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, 
      author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
      year={2023},
      eprint={2310.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}