近年、状態空間モデル（State Space Models: SSMs）は、小規模なシーケンスおよび言語モデリングタスクにおいて、多くのアテンションベースの手法と並ぶ乃至はそれを上回る成果を示しており、注目を集めている。本論文では、特別なゲーティング機構を備えたマルチヘッド状態空間（Multi-Head State Space: MH-SSM）アーキテクチャを提案する。このモデルでは、並列に配置された複数のヘッドが、シーケンスデータ上の局所的およびグローバルな時系列ダイナミクスを学習するよう訓練される。このMH-SSMは、Transformerエンコーダにおけるマルチヘッドアテンションの即座の置き換えとして利用可能であり、LibriSpeech音声認識コーパスにおいて、Transformer Transducerを著しく上回る性能を達成した。さらに、TransformerブロックにMH-SSM層を追加したアーキテクチャ、すなわち「Stateformer」を構築した。このStateformerは、外部言語モデルを用いずに、開発セットにおいて1.76％／4.37％、テストセットにおいて1.91％／4.36％という単語誤り率（WER）を達成し、LibriSpeechタスクにおいて最先端の性能を実現した。