データセットの紹介

DPO-zh-en-emoji データ セットは、2024 年に shareAI によって開始されたデータ セットで、大規模な言語モデルを微調整するために特別に設計されています。「DPO」は Direct Preference Optimization の略です。このデータ セットには、多数の質問と回答のペアが含まれており、各質問には中国語版と英語版の両方の回答が含まれており、回答には顔文字 (絵文字) の使用など、楽しくてユーモラスな要素が組み込まれています。研究チームは、Zhihu、論理的推論、精神薄弱のフォーラムからいくつかの質問をクエリとして慎重に選択し、llama3 70b 指示モデルを使用して、各クエリに対して中国語版の回答と英語版の回答をサンプリングして生成しました。このような設計は、多言語チャット モデルの言語スタイル設定を有効にするのに役立ち、モデルによって生成されるコンテンツの品質を向上させ、人間の好みと一致します。

引用

@misc{DPO-zh-en-emoji2024, 著者 = {Xinlu Lai、shareAI}、 タイトル = {中国語と英語の絵文字付きDPOデータセット}、 年 = {2024}、 パブリッシャー = {huggingface}、 ジャーナル = {huggingface リポジトリ}、 howpublished = {\url{https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji}} }