利用反馈记忆解决Transformer的一些局限性

尽管Transformer架构属于前馈网络，却已在序列化、自回归任务中取得了成功。与循环神经网络不同，Transformer通过注意力机制在并行处理输入标记的同时捕捉时间依赖关系。尽管这种并行化设计提升了计算效率，却限制了模型对输入序列固有顺序特性的充分挖掘：当前层的表示只能访问较低层的表示，而无法利用已生成的高层抽象表示。针对这一局限，本文提出了一种名为反馈Transformer（Feedback Transformer）的新型架构，该架构将所有先前时刻的表示显式地传递给所有后续时刻的表示，使得当前时间步的最低层表示能够基于过去时刻的高层抽象表示进行构建。我们在语言建模、机器翻译和强化学习等多个基准任务上进行了实验验证，结果表明，这种增强的表示能力能够使结构更小、层数更浅的模型在性能上显著超越传统Transformer。