探索在指令微调之外训练专家语言模型的优势

近期，经过多个任务指令微调（即多任务提示微调，MT）的语言模型（LMs）展现出对未见任务的良好泛化能力。以往研究认为，增加训练任务的数量是提升多任务微调语言模型性能的关键因素。然而，在本研究中，我们发现一个出人意料的结果：仅在一个任务上进行微调的专家型语言模型（expert LM），在11个未见过的数据集上，以及在BIG-bench基准测试的13个数据集上，其平均准确率分别比训练了300多个任务的多任务语言模型高出3.20%和1.29%。这一发现对“单纯增加任务数量即可提升多任务语言模型性能”的传统认知提出了质疑。基于这一发现，我们进一步表明，采用“为每个训练任务分别训练一个专家模型”的分布式训练策略，相较于训练单一的多任务语言模型，用于零样本推理具有诸多优势：（1）有效避免指令微调过程中常见的负面任务迁移问题；（2）支持持续学习新任务，而无需重新训练历史任务，从而避免灾难性遗忘；（3）在将各个独立专家模型进行合并时，展现出良好的组合能力。相关代码已公开，地址为：https://github.com/joeljang/ELM。