Daring-Anteater est un ensemble de données complet pour le réglage fin par instruction publié en 2024 par NVIDIA, dont les résultats de la recherche sont présentés dans « HelpSteer2: Open-source dataset for training top-performing reward models ». Il vise à promouvoir la reproductibilité et à entraîner des modèles de récompense performants.

Cet ensemble de données contient environ 95 000 échantillons, dont la majorité ont été générés synthétiquement à l’aide du modèle propriétaire de NVIDIA et de Mixtral-8x7B-Instruct-v0.1 ; le reste provient de sous-ensembles aux licences favorables au commerce issus de FinQA, WikitableQuestions et Open-Platypus.
Il couvre une large gamme de tâches et de scénarios, principalement destinés au réglage supervisé (SFT), ainsi qu’à des ajustements ultérieurs basés sur les préférences.
L’ensemble de données est disponible sous licence CC-BY-4.0, ce qui permet son utilisation commerciale.

Composition de l'ensemble de données

Cet ensemble comprend quatre champs principaux :

• conversations : tours de dialogue entre l’utilisateur et l’assistant
• mask : tours exclusifs du calcul de perte (par défaut, « User »)
• system : instructions système
• dataset : origine des données

L’ensemble se compose des sous-ensembles suivants :

• synthetic_conv : 82 450 échantillons
• synthetic_roleplay : 2 996 échantillons
• synthetic_math : 3 000 échantillons
• synthetic_precise_instruction_following : 1 500 échantillons
• synthetic_json_format_following : 1 499 échantillons
• synthetic_complex_instruction : 1 500 échantillons
• open_platypus_commercial : 6 000 échantillons
• FinQA : 300 échantillons
• wikitablequestions : 287 échantillons

Référence bibliographique

@misc{wang2024helpsteer2,
      title={HelpSteer2: Open-source dataset for training top-performing reward models}, 
      author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
      year={2024},
      eprint={2406.08673},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}