Daring-Anteater는 NVIDIA가 2024년에 발표한 명령어 미세 조정을 위한 종합 데이터세트로, 관련 논문 성과는「HelpSteer2: Open-source dataset for training top-performing reward models」이며, 재현성을 촉진하고 고성능 보상 모델을 훈련하는 것을 목표로 합니다.

이 데이터세트는 약 95,000개의 샘플을 포함하며, 대부분은 NVIDIA 독점 모델과 Mixtral-8x7B-Instruct-v0.1에 의해 합성 생성되었고, 나머지 샘플은 FinQA, wikitablequestions 및 Open-Platypus의 상업적으로 친화적인 하위 집합에서 유래했습니다. 이 데이터세트는 광범위한 작업과 시나리오를涵盖하며, 주로 지도 미세 조정(SFT) 및 후속 선호도 조정에 사용됩니다. 데이터세트는 CC-BY-4.0 라이선스로 오픈소스화되어 상업적 용도로 지원됩니다.

데이터세트 구성

이 데이터세트는 네 가지 주요 필드를 포함합니다:

• conversations: 사용자와 어시스턴트의 대화 턴
• mask: 손실을 계산하지 않는 턴(기본값은 "User")
• system: 시스템 프롬프트
• dataset: 데이터 출처

데이터세트는 다음 하위 집합으로 구성됩니다:

• synthetic_conv: 82,450개 샘플
• synthetic_roleplay: 2,996개 샘플
• synthetic_math: 3,000개 샘플
• synthetic_precise_instruction_following: 1,500개 샘플
• synthetic_json_format_following: 1,499개 샘플
• synthetic_complex_instruction: 1,500개 샘플
• open_platypus_commercial: 6,000개 샘플
• FinQA: 300개 샘플
• wikitablequestions: 287개 샘플

Citation

@misc{wang2024helpsteer2,
      title={HelpSteer2: Open-source dataset for training top-performing reward models}, 
      author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
      year={2024},
      eprint={2406.08673},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}