摘要
训练基于内存的变压器模型通常需要大量的内存，并且效率较低。我们提出了一种新颖的两阶段训练机制和一种新的正则化技术，以提高基于内存的变压器模型的训练效率，这些模型常用于长距离上下文问题。在实验中，我们将Transformer-XL作为基线模型，该模型是基于内存的变压器模型之一。结果显示，我们的最终模型Skip Cross-head TransformerXL在字符级语言建模任务上超越了基线模型，参数量相当；而在词级语言建模任务上，参数量减少了近20%，但仍优于基线模型。我们所提出的方法无需额外的内存资源。此外，我们在BERT上也验证了所提出的正则化机制的有效性，在多个GLUE任务中，分数的标准差降低了约30%，性能表现相似。