摘要
我们提出一种新型网络层，该层在应用传统注意力机制之前，利用二阶动态（即输入相关）无限脉冲响应（IIR）滤波器对输入序列进行预处理。输入序列被划分为若干块，滤波器系数根据先前块的信息确定，以保证因果性。尽管滤波器阶数较低，但因果自适应滤波器被证明能够有效聚焦于序列中的相关元素。该新层基于控制理论构建，并被证明可泛化为对角状态空间层（diagonal state-space layers）。该层在性能上可与当前最先进模型相媲美，同时参数量仅为后者的极小部分，且时间复杂度随输入长度呈亚二次增长。在多个长序列建模任务中，该层在参数量和性能表现方面均优于Heyna、GPT-2和Mega等现有模型。