11일 전

긴급 시리즈 예측을 위한 쿼리 선택기 — 희소 어텐션 기반 효율적인 모델

Jacek Klimek, Jakub Klimek, Witold Kraskiewicz, Mateusz Topolewski
긴급 시리즈 예측을 위한 쿼리 선택기 — 희소 어텐션 기반 효율적인 모델
초록

최근 들어 TRANSFORMER의 다양한 변형이 시계열 예측 문제 해결에 활용되고 있다. 본 연구에서는 희소 주의 행렬(sparse attention matrix)을 위한 효율적이고 결정론적인 알고리즘인 Query Selector를 제안한다. 실험 결과, ETT, Helpdesk, BPI'12 데이터셋에서 최신 기준(SOTA) 성능을 달성함을 확인하였다.

긴급 시리즈 예측을 위한 쿼리 선택기 — 희소 어텐션 기반 효율적인 모델 | 최신 연구 논문 | HyperAI초신경