Daring-Anteater est un ensemble de données complet publié par NVIDIA en 2024 pour le réglage fin par instructions, dont les travaux de recherche associés sont « HelpSteer2: Open-source dataset for training top-performing reward models », visant à favoriser la reproductibilité et à entraîner des modèles de récompense performants.

Cet ensemble de données contient environ 95 000 échantillons, dont la plupart sont générés de manière synthétique par les modèles propriétaires de NVIDIA et Mixtral-8x7B-Instruct-v0.1, tandis que les autres proviennent de sous-ensembles commercialement adaptés de FinQA, wikitablequestions et Open-Platypus. Il couvre un large éventail de tâches et de scénarios, principalement utilisé pour le réglage fin supervisé (SFT) et l'ajustement ultérieur des préférences. L'ensemble de données est publié sous licence CC-BY-4.0, autorisant une utilisation commerciale.

Composition de l'ensemble de données

Cet ensemble de données comprend quatre champs principaux :

• conversations : tours de dialogue entre l'utilisateur et l'assistant
• mask : tours pour lesquels la perte n'est pas calculée (par défaut « User »)
• system : invites système
• dataset : source des données

L'ensemble de données est composé des sous-ensembles suivants :

• synthetic_conv : 82 450 échantillons
• synthetic_roleplay : 2 996 échantillons
• synthetic_math : 3 000 échantillons
• synthetic_precise_instruction_following : 1 500 échantillons
• synthetic_json_format_following : 1 499 échantillons
• synthetic_complex_instruction : 1 500 échantillons
• open_platypus_commercial : 6 000 échantillons
• FinQA : 300 échantillons
• wikitablequestions : 287 échantillons

Citation

@misc{wang2024helpsteer2,
      title={HelpSteer2: Open-source dataset for training top-performing reward models}, 
      author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
      year={2024},
      eprint={2406.08673},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}