HyperAIHyperAI

Command Palette

Search for a command to run...

Temporal FiLM: 長距離シーケンス依存関係を捉えるための特徴量ごとの変調

Sawyer Birnbaum Volodymyr Kuleshov S. Zayd Enam Pang Wei Koh Stefano Ermon

概要

長期依存関係を正確に捉えた表現を学習することは、テキスト、オーディオ、ゲノムデータなどの系列入力において、深層学習の重要な課題である。フィードフォワード畳み込みモデルは有限の受容野内の特徴量間の相互作用のみを捉える一方で、再帰型アーキテクチャは勾配消失により遅く、訓練が困難な場合がある。本稿では、適応的バッチ正規化とその拡張から着想を得た新しいアーキテクチャコンポーネントである「時間的特徴別線形変調(Temporal Feature-Wise Linear Modulation: TFiLM)」を提案する。この手法は再帰型ニューラルネットワークを使用して畳み込みモデルの活性化を変更することで、畳み込み系列モデルの受容野を最小限の計算負荷で拡大する。経験的に、TFiLMはテキスト分類やオーディオスーパーレゾリューションなど、生成的な学習タスクと識別的な学習タスクにおけるフィードフォワードニューラルネットワークの学習速度と精度を大幅に向上させることが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています