CKConv: 連続カーネル畳み込みを用いた時系列データの処理

従来の順次データ用ニューラルアーキテクチャには重要な制限があります。再帰型ネットワークは勾配爆発と消失、短い有効記憶範囲、および順次的な学習が必要な問題を抱えています。一方、畳み込み型ネットワークは未知のサイズのシーケンスを処理できず、その記憶範囲を事前に定義する必要があります。本研究では、これらの問題がCNNにおける畳み込みカーネルを連続関数として定式化することで解決できることを示します。得られた連続カーネル畳み込み（Continuous Kernel Convolution: CKConv）により、単一の操作内で並列的に任意の長さのシーケンスをモデル化することが可能となり、再帰に依存することなく処理できます。私たちは、CKConvを用いた畳み込み型ニューラルネットワーク（Continuous Kernel Convolutional Networks: CKCNNs）が複数のデータセットで最先端の結果を得ることを示しています。例えば、並べ替えられたMNISTなどです。また、これらのネットワークは連続的な性質により、非一様サンプリングされたデータセットや不規則にサンプリングされたデータを本来的に処理することができます。CKCNNsは、これらの目的のために設計された神経ODEよりも高速かつ単純な方法で同等または優れた性能を達成しています。