Transformer模型中的自适应注意力范围

我们提出了一种新颖的自注意力机制，该机制能够学习其最优注意力范围。这使得我们在扩展Transformer的最大上下文长度方面取得了显著进展，同时仍能控制其内存占用和计算时间。我们在字符级语言建模任务中展示了这种方法的有效性，在text8和enwiki8数据集上，通过使用最大8000字符的上下文，我们达到了最先进的性能。