HyperAIHyperAI

Command Palette

Search for a command to run...

時系列FiLM:特徴量ごとの変調を用いた長距離シーケンス依存関係の捉え方。

Zayd Enam Sawyer Birnbaum Volodymyr Kuleshov Pang Wei W. Koh Stefano Ermon

概要

順序データ(テキスト、音声、ゲノムデータなど)における長距離依存関係を正確に表現する能力を学習することは、ディープラーニングにおける重要な課題である。従来のフィードフォワード型畳み込みモデルは有限の受容野内での特徴相互作用しか捉えられず、一方、再帰型アーキテクチャは勾配消失問題により学習が遅く、困難であることがあった。本研究では、アダプティブバッチ正規化およびその拡張手法に着想を得た、新しいアーキテクチャ的要素である「時系列特徴別線形調制(Temporal Feature-wise Linear Modulation; TFiLM)」を提案する。TFiLMは再帰型ニューラルネットワークを用いて畳み込みモデルの活性化値を動的に変調するものであり、計算負荷を最小限に抑えつつ、畳み込み型時系列モデルの受容野を拡張する。実証的な実験において、TFiLMはテキスト分類や音声スーパーレゾリューションを含む、多様な生成的・判別的学習タスクにおいて、フィードフォワード型ニューラルネットワークの学習速度と精度を顕著に向上させることを確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています