초록
최근 몇 년간 트랜스포머 기반 모델이 시계열 예측에 적용되는 데 있어 큰 관심을 받고 있다. 비록 종종 희망적인 성과를 보이지만, 트랜스포머 아키텍처는 주의 메커니즘(attention mechanism)의 한계로 인해 시계열 데이터 내의 시계적 관계를 완전히 활용하기 어려운 문제를 겪는다. 본 연구에서는 지수 분해(Exponential Decomposition)를 활용하는 새로운 이중 흐름 아키텍처인 eXponential Patch(xPatch로 약칭)를 설계하였다. 고전적인 지수 평활화 기법에서 영감을 얻어, xPatch는 혁신적인 계절-추세 지수 분해 모듈을 도입하였다. 또한, MLP 기반 선형 흐름과 CNN 기반 비선형 흐름으로 구성된 이중 흐름 아키텍처를 제안한다. 본 모델은 트랜스포머가 아닌 모델 환경에서 패치화(patching) 및 채널 독립성(channel-independence) 기법의 장점을 탐구한다. 마지막으로, 과적합을 방지하고 예측 성능을 향상시키기 위해 강건한 아크탄젠트 손실 함수(arcTan loss function)와 시그모이드 기반 학습률 조정 방식을 개발하였다. 코드는 다음 리포지토리에서 공개되어 있다: https://github.com/stitsyuk/xPatch.