Muppet：基于预微调的海量多任务表征

我们提出了一种名为“预微调”（pre-finetuning）的额外大规模学习阶段，位于语言模型的预训练与微调之间。预微调是一种大规模多任务学习（涵盖约50个数据集，总计超过480万个标注样本），其设计目标是促进模型学习更具泛化能力的表示，从而在多种不同任务上表现更优。实验表明，预微调能够持续提升预训练判别模型（如 RoBERTa）和生成模型（如 BART）在广泛任务上的性能，包括句子预测、常识推理、机器阅读理解（MRC）等，同时在微调阶段显著提高样本效率。此外，我们还发现大规模多任务学习至关重要：当任务数量较少时，预微调甚至可能损害性能，直到达到一个临界点（通常在15个任务以上），此后模型性能随任务数量的增加呈线性提升。