17日前
ConvTimeNet:多変量時系列解析のための深層階層的完全畳み込みモデル
Mingyue Cheng, Jiqian Yang, Tingyue Pan, Qi Liu, Zhi Li

要約
時系列表現の学習に効果的なモデル設計は、時系列解析の基盤となる。これまで多くの研究が時系列表現モデルの構築手法を探索し、この分野において一定の進展を遂げてきた。しかし、これらの手法は時系列的に依存する基本単位における局所パターンに対する適応的な認識能力に欠け、またこれらの単位間の多スケール依存性を捉えきれていないという課題を抱えている。従来の自己注意(self-attention)メカニズムに依拠する主流手法とは異なり、本研究では時系列解析を目的とした階層的純畳み込みモデルであるConvTimeNetを提案する。ConvTimeNetは、データ駆動型のアプローチにより、時系列的に依存する基本単位の局所パターンを適応的に捉えることができる可変パッチ層(deformable patch layer)を導入している。得られた局所パターンを基に、異なるスケールにおける基本単位表現間の依存関係を捉えるための階層的純畳み込みブロックを設計した。さらに、大カーネル機構(large kernel mechanism)を採用することで、畳み込みブロックの深さを確保し、より大きな受容 field を実現している。これにより、一つのモデル内で局所パターンとその多スケール依存性を効果的にモデル化することが可能となる。多様なモデルタイプを比較する広範な実験結果から、純畳み込みモデルが依然として高い有効性を示し、前述の2つの課題を効果的に解決し、複数のタスクにおいて優れた性能を発揮することが確認された。実装コードは公開されており、再現性を確保している。