要約
与えられたタスク（分類や生成モデルなど）に重要な順次データソースの長距離パターンを効率的に捉えることは、基本的な課題となっています。この領域の人気のあるアプローチは、トランスフォーマーのように全探索列挙と比較のメモリ負荷、リカレントニューラルネットワークのように複雑な順次依存関係の計算負荷、または多くの大きなフィルターを持つ畳み込みネットワークのパラメータ負荷との間でトレードオフを行っています。私たちは代わりにウェーブレットベースの多分解像度解析から着想を得て、順次モデリングの新しい構成要素を定義しました。これをマルチレスレイヤー (MultiresLayer) と呼びます。私たちのモデルの主要な部分は、入力シーケンス内の多尺度トレンドを捉える多分解像度畳み込み (multiresolution convolution) です。マルチレスコンボリューション (MultiresConv) は、拡張因果畳み込みツリー上で共有されるフィルターを使用して実装できます。これにより、畳み込みネットワークの計算上の利点とウェーブレット分解の理論的な動機づけが得られます。マルチレスレイヤーは実装が簡単で、著しく少ないパラメータ数を必要とし、長さ $N$ のシーケンスに対して最大でも $\mathcal{O}(N\log N)$ のメモリフットプリントしか必要としません。しかし、このような層を積み重ねることで、CIFAR-10, ListOps, および PTB-XL データセットを使用した一連のシーケンス分類および自己回帰密度推定タスクにおいて最先端の性能を達成しています。