HelpSteer2 인간 선호 정렬 데이터 세트

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

HelpSteer2는 NVIDIA와 Scale AI가 2024년에 공동으로 만든 오픈 소스 데이터 세트입니다. 대규모 언어 모델(LLM)이 인간의 선호도를 충족하는 고품질 답변을 생성하도록 안내하는 보상 모델을 훈련하는 것을 목표로 합니다. 관련 논문 결과는 "HelpSteer2: 최고 성능 보상 모델을 훈련하기 위한 오픈 소스 데이터 세트". HelpSteer 데이터셋을 기반으로 업데이트되어 더욱 강력한 LLM에 적응할 수 있도록 합니다. HelpSteer2는 약 1만 개의 답변 쌍을 포함하고 있는데, 이는 기존 선호도 데이터셋보다 훨씬 적지만, 보상 모델 학습에는 매우 효율적입니다.

데이터 세트는 ShareGPT 플랫폼에서 프롬프트를 수집하고 강력한 사내 기반 모델을 사용하여 응답을 생성하여 수집되었습니다. 답변에 대한 주석을 작성하는 과정에서는 주석 품질을 개선하기 위해 각 답변에 최소 3명의 주석 작성자가 주석을 작성해야 했습니다. HelpSteer2의 통계에 따르면 모델 답변은 HelpSteer 데이터 세트와 비교했을 때 도움성, 정확성, 일관성, 복잡성, 장황함 측면에서 더 높은 점수를 받았습니다.

HelpSteer2 데이터 세트는 보상 모델을 훈련하는 데 매우 효과적입니다. 예를 들어, HelpSteer2로 학습된 Llama 3 70B 모델은 주요 Reward-Bench 데이터 세트에서 92.0%의 점수를 달성하여 2024년 6월 12일 기준으로 등록된 모든 공개 및 독점 모델을 능가했습니다. 또한 연구팀은 보상 모델이 예측하는 풍부한 다중 속성 점수를 효과적으로 활용할 수 있는 SteerLM 2.0 모델 정렬 방법도 제안했습니다.