SepTr：音声スペクトログラム処理のための分離型Transformer

視覚変換器（Vision Transformers）が複数のコンピュータビジョンタスクにおいて成功を収めたことを受けて、信号処理分野でもその注目が集まっている。これは、信号がしばしばスペクトログラム（例えば離散フーリエ変換により）として表現され、それが直接視覚変換器の入力として利用可能であるためである。しかし、スペクトログラムにそのまま変換器を適用することは最適ではない。なぜなら、座標軸は異なる次元（周波数と時間）を表しており、それぞれに特化した注意機構（attention）を分離するべきであると考えられるからである。この目的のため、本研究では「分離型変換器（Separable Transformer, SepTr）」を提案する。このアーキテクチャは、順次接続された2つの変換器ブロックを用い、最初のブロックは同じ時間区間内のトークン間の注意を、2番目のブロックは同じ周波数ビン内のトークン間の注意をそれぞれ処理する。3つのベンチマークデータセットにおける実験の結果、本提案の分離型アーキテクチャが従来の視覚変換器および他の最先端手法を上回る性能を発揮することが示された。また、標準的な変換器とは異なり、SepTrは入力サイズに対して線形に可学習パラメータ数を増加させるため、メモリ使用量が低く抑えられる。本研究のコードは、GitHubにてオープンソースとして公開されている（https://github.com/ristea/septr）。