要約
本稿では、畳み込みアーキテクチャを用いた系列モデル化の問題を再検討する。畳み込みネットワークと再帰型ネットワークの両方とも、系列予測において長い歴史を持つが、現在の深層学習コミュニティの多くでは、一般的な系列モデル化タスクは再帰型ネットワーク（RNN）を用いて処理することが「標準的」なアプローチとされている。本研究の目的は、この前提を疑うものである。具体的には、現代のConvNetアーキテクチャの特徴であるドイルーション（拡張）とリサルネット（残差接続）を採用した単純な汎用時系列畳み込みネットワーク（Temporal Convolutional Network: TCN）を検討する。我々は、再帰型ネットワーク（LSTM、GRU、および通常のRNN）をベースラインとして用いた多くの系列モデル化タスクにおいて、TCNがそれらを上回り、場合によっては高度に特化したアプローチさえも凌駕することを示す。さらに、RNNがTCNに対して持つ「無限記憶」の潜在的利点が、実際の運用においてはほとんど顕在化しないことも明らかにする。すなわち、TCNは再帰型ネットワークと比較して、実効的な履歴長がより長くなる傾向がある。全体として、系列モデル化の際の標準的アーキテクチャとして、ConvNetを再評価する時期が来ていると主張する。