要約
畳み込み演算は局所的にのみ作用するため、全体的な相互作用をモデル化することができません。一方、自己注意機構はシーケンス内の長距離依存関係を捉える表現を学習することができます。本研究では、畳み込みと自己注意機構を組み合わせた音響超解像ネットワークアーキテクチャを提案します。自己注意に基づく特徴量単位の線形調制 (AFiLM) は、再帰型ニューラルネットワークの代わりに自己注意機構を使用して畳み込みモデルの活性化を調節します。広範な実験結果から、当該モデルが標準的なベンチマークにおいて既存の手法を上回ることが示されています。さらに、より多くの並列処理が可能となり、訓練速度が大幅に向上することも確認されています。