* 该数据集提供在线使用，点击此处跳转。

数据集简介

DPO-zh-en-emoji 数据集是 shareAI 于 2024 年推出的一个特别设计用于微调大型语言模型的数据集，其中「DPO」代表直接偏好优化 (Direct Preference Optimization) 。这个数据集包含了大量的问答对数据，每个问题都有中文和英文两个版本的答案，并且答案中融入了趣味幽默的元素，包括表情符号 (emoji) 的使用。研究团队精心选出了一些源于知乎、逻辑推理、弱智吧的问题作为 query，使用 llama3 70b instruct 模型采样生成，对每个 query 生成一个中文版本的 answer 和一个英文版本的 answer 。这样的设计有助于激活多语言聊天模型的语言风格偏好，提升模型生成内容的质量和对人类偏好的符合度。