ConvTimeNet: 다변량 시계열 분석을 위한 깊이 있는 계층적 전결합 모델

시계열 표현 학습을 위한 효과적인 모델 설계는 시계열 분석의 기반이 된다. 이전의 많은 연구들이 시계열 표현 모델링 방법을 탐구하며 이 분야에서 진전을 이루었다. 그러나 이러한 기존 방법들은 시간적으로 의존적인 기본 단위들 내부의 국소 패턴에 대한 적응형 인식이 부족하며, 이러한 단위들 간의 다중 스케일 종속성을 포착하지 못하는 한계를 가지고 있다. 기존의 자기주의(self-attention) 메커니즘 중심의 일반적인 방법에 의존하지 않고, 시계열 분석을 위해 설계된 계층적 순수 컨볼루션 모델인 ConvTimeNet을 제안한다. ConvTimeNet은 데이터 주도적인 방식으로 시간적으로 의존적인 기본 단위들의 국소 패턴을 적응형으로 인식할 수 있는 변형 가능한 패치 계층(deformable patch layer)을 도입한다. 추출된 국소 패턴을 바탕으로, 다양한 스케일에서 기본 단위 표현 간의 종속성 관계를 포착하기 위한 계층적 순수 컨볼루션 블록을 설계하였다. 또한, 컨볼루션 블록이 깊이 있게 쌓일 수 있도록 하여 더 큰 수용 영역(receptive field)을 확보하기 위해 대규모 커널 메커니즘을 활용한다. 이를 통해 하나의 모델 내에서 국소 패턴과 그 다중 스케일 종속성을 효과적으로 모델링할 수 있다. 다양한 유형의 모델을 비교한 광범위한 실험 결과에 따르면, 순수 컨볼루션 모델이 여전히 강력한 타당성을 보이며, 앞서 언급한 두 가지 도전 과제를 효과적으로 해결하고 여러 작업에서 우수한 성능을 보여주었다. 코드는 재현성을 위해 공개되어 있다.