BasisFormer: 학습 가능하고 해석 가능한 기저를 활용한 주의력 기반 시계열 예측

시계열 예측을 위한 현대적인 딥러닝 기반 모델에서 베이시스(Basis)는 특징 추출기 또는 미래 참조로 작용할 수 있는 능력 덕분에 핵심적인 역할을 하고 있다. 효과적인 베이시스는 특정 시계열 데이터 세트에 맞게 설계되어야 하며, 해당 세트 내 각 시계열과 명확한 상관관계를 가져야 한다. 그러나 현재 최첨단 기법들은 이러한 두 가지 요구 조건을 동시에 만족시키는 데 한계가 있다. 이러한 과제를 해결하기 위해, 학습 가능한 해석 가능한 베이시스를 활용하는 엔드 투 엔드 시계열 예측 아키텍처인 BasisFormer을 제안한다. 이 아키텍처는 세 가지 구성 요소로 구성된다. 첫째, 시계열의 과거 및 미래 구간을 두 가지 별개의 시각(view)으로 간주하고 대조 학습(contrastive learning)을 활용하는 적응형 자기지도 학습(adaptive self-supervised learning)을 통해 베이시스를 획득한다. 둘째, 이중 방향 교차 주의( bidirectional cross-attention)를 통해 과거 시각에서 시계열과 베이시스 간의 유사도 계수를 계산하는 Coef 모듈을 설계한다. 셋째, 유사도 계수를 기반으로 미래 시각의 베이시스를 선택하고 통합하는 Forecast 모듈을 제안하며, 이는 정확한 미래 예측을 가능하게 한다. 여섯 개의 데이터셋을 대상으로 수행한 광범위한 실험을 통해, BasisFormer이 단변량 및 다변량 예측 과제에서 각각 기존 최첨단 방법보다 평균적으로 11.04% 및 15.78% 향상된 성능을 보였음을 입증하였다. 코드는 다음 URL에서 제공된다: \url{https://github.com/nzl5116190/Basisformer}