要約
離散フーリエ変換は、深層学習における畳み込みの計算を大幅に高速化します。本研究では、効率的な計算の利点だけでなく、スペクトル領域が畳み込みニューラルネットワーク（CNN）のモデリングと訓練において強力な表現を提供することを示しています。スペクトル表現を用いて、CNN設計に対する数々の革新を提案します。まず、スペクトルプーリングについて述べます。これは、周波数領域での表現を切り捨てることにより次元削減を行う手法です。このアプローチは他のプーリング戦略よりも各パラメータあたりで著しく多くの情報を保存し、プーリング出力の次元選択に柔軟性を与えます。また、この表現は解像度のランダム化による新たな形式の確率的正則化も可能にします。これらの方法はドロップアウトやマックスプーリングを使用せずに分類および近似タスクで競争力のある結果を達成することが示されています。最後に、複素係数による畳み込みフィルターのスペクトルパラメータ化の有効性を示します。これにより基本的なモデルは変更されませんが、最適化が大いに容易になる表現が得られます。様々な人気のあるCNN構成において、これが訓練中の収束速度を大幅に向上させることが観察されました。