千万亿参数大模型训练方案
Q Labs研究团队近日公布巴伦等人论文,提出在高质量训练数据受限场景下训练更大型神经网络的新缩放方案。研究认为,缩小人工智能与人类样本效率差距的一条关键路径是大幅提升参数规模:人脑约含100万亿参数,却仅用约2亿词元学习;而经典数据受限缩放方案在30万亿词元下通常仅建议1.5万亿参数,数据与参数比差距达千万倍。团队拟合包含数据量、模型规模、训练轮次和集成成员数的新缩放律,发现固定数据集下,算力最优模型并非固定,而应随算力增加持续扩大;同时应增加训练轮次并相应提高权重衰减。研究还将快照式集成和深度集成纳入主流程,以几乎不增加训练计算或更低过拟合代价改善性能。外推显示,在5万亿词元和高算力预算下,集成总参数可比经典方案高约7000倍,为训练千万亿级参数模型提供依据。该方案能让有限数据下的损失随算力继续下降,但迈向千万亿参数仍需算法与硬件突破。
此资讯由 AI 智能聚合生成,旨在高效传递行业动态,不代表任何观点或建议。
