초록
시계열 데이터에서 결측치는 고급 분석을 방해하는 보편적인 문제입니다. 이에 대한 인기 있는 해결책은 결측치 대체(imputation)로, 여기서 핵심 과제는 어떤 값으로 채워야 할지를 결정하는 것입니다. 본 논문에서는 다변량 시계열 데이터의 결측치 대체를 위해 자기 주의(self-attention) 메커니즘을 기반으로 하는 새로운 방법인 SAITS를 제안합니다. 공동 최적화(joint-optimization) 접근법으로 훈련된 SAITS는 두 개의 대각선 마스킹 자기 주의(Diagonally-Masked Self-Attention, DMSA) 블록의 가중 조합에서 결측치를 학습합니다. DMSA는 시간 단계 간의 시간적 의존성과 특성 상관관계를 명시적으로 포착하여, 대체 정확도와 훈련 속도를 향상시킵니다. 또한, 가중 조합 설계는 SAITS가 주의 맵과 결측 정보에 따라 두 개의 DMSA 블록에서 학습된 표현에 동적으로 가중치를 할당할 수 있게 합니다. 광범위한 실험을 통해 양적 및 질적으로 SAITS가 시계열 대체 작업에서 최신 방법들을 효율적으로 능가하며, 실제 세계의 불완전한 시계열 데이터에서 패턴 인식 모델들의 학습 성능을 개선할 잠재력을 보여줍니다. 코드는 GitHub에서 오픈 소스로 제공되며, 다음 링크에서 확인 가능합니다: https://github.com/WenjieDu/SAITS.