残差洗牌交换网络用于快速处理长序列

注意力机制在序列处理中被广泛使用，但由于其复杂度为O(n^2)，这限制了其在长序列中的应用。最近提出的神经Shuffle-Exchange网络提供了一种计算高效的替代方案，能够在O(n log n)时间内建模长距离依赖关系。然而，该模型相当复杂，涉及从门控循环单元（Gated Recurrent Unit）派生出的复杂门控机制。在本文中，我们提出了一种简单且轻量级的Shuffle-Exchange网络变体，该变体基于残差网络并采用了GELU和层归一化（Layer Normalization）。所提出的架构不仅能够扩展到更长的序列，而且收敛速度更快，精度更高。它在LAMBADA语言建模任务上超越了Shuffle-Exchange网络，并在音乐转录的MusicNet数据集上达到了最先进的性能，同时参数数量较少。我们展示了如何将改进后的Shuffle-Exchange网络与卷积层结合，使其成为长序列处理应用中有用的构建模块。