トランスフォーマーを基盤とするモデルが自然言語処理（NLP）において大きな成功を収めたことから、これらのアーキテクチャを視覚や音声などの他の分野に適応させるための様々な試みが行われています。最近の研究では、トランスフォーマーが視覚と音声タスクで畳み込みニューラルネットワーク（CNNs）を上回ることが示されています。しかし、既に確立されたCNNsと比較して、トランスフォーマーの主要な欠点の一つは計算複雑さです。トランスフォーマーでは、計算量とメモリ使用量が入力長に比例して二次的に増大することが知られています。そのため、トランスフォーマーの最適化に関する多くの研究が行われてきましたが、しばしば予測性能の低下を伴うことが問題となっています。本研究では、音声スペクトログラムに対するトランスフォーマーの最適化と正則化の新しい手法を提案します。提案したモデルはAudiosetで新たな最先端の性能を達成し、単一の一般消費者向けGPUで訓練できるという特徴があります。さらに、我々はパフォーマンスと訓練速度の両面でCNNsを上回るトランスフォーマーモデルも提案しています。ソースコード: https://github.com/kkoutini/PaSST