Command Palette

Search for a command to run...

多维度预训练数据筛选框架 Meta-rater

日期

3 个月前

面向语言模型预训练的多维质量数据筛选方法(A Multi-dimensional Data Selection Method for Pre-training Language Models,简称 Meta-rater)是由上海人工智能实验联合华东师范大学于 2025 年 6 月 4 日提出的一种多维数据选择方法,旨在通过学习最优权重,将专业性、可读性、推理性、干净程度四个维度与现有质量指标整合。相关论文成果为「Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models」,该论文已获 ACL 25 最佳主题论文奖。

Meta-rater 利用代理模型训练回归模型,预测验证集损失,从而识别最优的质量分数组合。实验结果表明,Meta-rater 能将 13 亿参数模型的收敛速度提高两倍,下游任务性能提升 3.23%,且这种优势可扩展至 72 亿参数模型。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供