SepTr：用于音频频谱图处理的可分离Transformer

在视觉Transformer（Vision Transformers）于多项计算机视觉任务中取得成功之后，这类模型也引起了信号处理领域的关注。这是因为信号通常以频谱图（spectrograms）的形式表示（例如通过离散傅里叶变换，DFT），而频谱图可直接作为视觉Transformer的输入。然而，若对频谱图直接采用传统的Transformer架构，效果并不理想。由于频谱图的两个坐标轴分别代表不同维度——时间与频率——我们提出，更优的策略是将注意力机制分别作用于这两个维度。为此，我们提出了可分离Transformer（Separable Transformer, SepTr），该架构采用两个顺序连接的Transformer模块：第一个模块专注于同一时间区间内token之间的注意力建模，第二个模块则专注于同一频段内token之间的注意力建模。我们在三个基准数据集上进行了实验，结果表明，所提出的可分离架构在性能上优于传统的视觉Transformer及其他先进方法。与标准Transformer不同，SepTr的可训练参数数量随输入规模呈线性增长，因此具有更低的内存开销。相关代码已开源，可访问 https://github.com/ristea/septr。