HyperAIHyperAI

Command Palette

Search for a command to run...

畳み込み系列モデリングの再検討

Vladlen Koltun J. Zico Kolter Shaojie Bai

概要

本稿では、畳み込みアーキテクチャを用いた系列モデル化の問題を再検討する。畳み込みネットワークと再帰型ネットワークの両方とも、系列予測において長い歴史を持つが、現在の深層学習コミュニティの多くでは、一般的な系列モデル化タスクは再帰型ネットワーク(RNN)を用いて処理することが「標準的」なアプローチとされている。本研究の目的は、この前提を疑うものである。具体的には、現代のConvNetアーキテクチャの特徴であるドイルーション(拡張)とリサルネット(残差接続)を採用した単純な汎用時系列畳み込みネットワーク(Temporal Convolutional Network: TCN)を検討する。我々は、再帰型ネットワーク(LSTM、GRU、および通常のRNN)をベースラインとして用いた多くの系列モデル化タスクにおいて、TCNがそれらを上回り、場合によっては高度に特化したアプローチさえも凌駕することを示す。さらに、RNNがTCNに対して持つ「無限記憶」の潜在的利点が、実際の運用においてはほとんど顕在化しないことも明らかにする。すなわち、TCNは再帰型ネットワークと比較して、実効的な履歴長がより長くなる傾向がある。全体として、系列モデル化の際の標準的アーキテクチャとして、ConvNetを再評価する時期が来ていると主張する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています