Temporal FiLM: 長距離シーケンス依存関係を捉えるための特徴量ごとの変調

長期依存関係を正確に捉えた表現を学習することは、テキスト、オーディオ、ゲノムデータなどの系列入力において、深層学習の重要な課題である。フィードフォワード畳み込みモデルは有限の受容野内の特徴量間の相互作用のみを捉える一方で、再帰型アーキテクチャは勾配消失により遅く、訓練が困難な場合がある。本稿では、適応的バッチ正規化とその拡張から着想を得た新しいアーキテクチャコンポーネントである「時間的特徴別線形変調（Temporal Feature-Wise Linear Modulation: TFiLM）」を提案する。この手法は再帰型ニューラルネットワークを使用して畳み込みモデルの活性化を変更することで、畳み込み系列モデルの受容野を最小限の計算負荷で拡大する。経験的に、TFiLMはテキスト分類やオーディオスーパーレゾリューションなど、生成的な学習タスクと識別的な学習タスクにおけるフィードフォワードニューラルネットワークの学習速度と精度を大幅に向上させることが確認された。