RedOne：揭示社交网络服务中的领域特定LLM后训练

作为现代信息传播的主要媒介，社交网络服务（SNS）经历了快速的发展，这为平台内容管理和互动质量提升带来了显著挑战。近期，大规模语言模型（LLMs）的发展提供了潜在解决方案，但现有的研究主要集中在孤立的任务上，不仅在单个场景中数据规模扩大带来的收益逐渐减少，而且难以灵活适应多样化的现实情境。为了应对这些挑战，我们引入了RedOne，这是一种特定领域的大型语言模型，旨在突破单一任务基线的性能瓶颈，并为SNS建立全面的基础。RedOne通过一个包含持续预训练、监督微调和偏好优化三个阶段的训练策略开发而成，使用了大规模的真实世界数据集。通过广泛的实验验证，RedOne保持了强大的通用能力，并在8个主要SNS任务中平均提升了14.02%，在SNS双语评估基准中平均提升了7.56%，相较于基础模型。此外，在线测试结果显示，与单一任务微调的基线模型相比，RedOne将有害内容检测中的曝光率降低了11.23%，并将帖子查看搜索中的点击页面率提高了14.95%。这些结果确立了RedOne作为一种稳健的特定领域大型语言模型在SNS中的地位，展示了其在各种任务中的优秀泛化能力和在实际应用场景中的广阔前景。