Daring-Anteater ist ein von NVIDIA im Jahr 2024 veröffentlichtes umfassendes Datenset für die Instruktionsfeinabstimmung, dessen zugehörige Forschungsergebnisse in „HelpSteer2: Open-source dataset for training top-performing reward models“ dokumentiert sind und darauf abzielen, Reproduzierbarkeit zu fördern und hochleistungsfähige Belohnungsmodelle zu trainieren.

Das Datenset umfasst etwa 95.000 Stichproben, von denen der Großteil von NVIDIAs proprietären Modellen und Mixtral-8x7B-Instruct-v0.1 synthetisch erzeugt wurde, während die übrigen Stichproben aus kommerziell nutzbaren Teilmengen von FinQA, wikitablequestions und Open-Platypus stammen. Das Datenset deckt eine breite Palette von Aufgaben und Szenarien ab und wird hauptsächlich für das überwachte Feinabstimmen (SFT) sowie anschließende Präferenzanpassungen verwendet. Das Datenset ist unter der CC-BY-4.0-Lizenz als Open Source verfügbar und unterstützt die kommerzielle Nutzung.

Zusammensetzung des Datensets

Das Datenset enthält vier Hauptfelder:

• conversations: Dialogrunden zwischen Benutzer und Assistent
• mask: Runden, in denen kein Verlust berechnet wird (Standard: „User“)
• system: Systemprompt
• dataset: Datenquelle

Das Datenset besteht aus den folgenden Teilmengen:

• synthetic_conv: 82.450 Stichproben
• synthetic_roleplay: 2.996 Stichproben
• synthetic_math: 3.000 Stichproben
• synthetic_precise_instruction_following: 1.500 Stichproben
• synthetic_json_format_following: 1.499 Stichproben
• synthetic_complex_instruction: 1.500 Stichproben
• open_platypus_commercial: 6.000 Stichproben
• FinQA: 300 Stichproben
• wikitablequestions: 287 Stichproben

Zitierung

@misc{wang2024helpsteer2,
      title={HelpSteer2: Open-source dataset for training top-performing reward models}, 
      author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
      year={2024},
      eprint={2406.08673},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}