16日前

クエリ選択子を用いた長期時系列予測 —— スパースアテンションの効率的モデル

Jacek Klimek, Jakub Klimek, Witold Kraskiewicz, Mateusz Topolewski

要約

最近、時系列予測問題の解決に向け、TRANSFORMERのさまざまな変種が用いられている。本研究では、スパースなアテンション行列に対応する効率的かつ決定論的なアルゴリズム「Query Selector」を提案する。実験の結果、ETT、Helpdesk、BPI'12の各データセットにおいて、最先端の性能を達成した。