2ヶ月前

BEAT: 長期時系列予測のためのバランスの取れた周波数適応調整

Zhixuan Li; Naipeng Chen; Seonghwa Choi; Sanghoon Lee; Weisi Lin
BEAT: 長期時系列予測のためのバランスの取れた周波数適応調整
要約

時系列予測は、気象予報や金融市場モデリングなど多くの実世界の応用に不可欠です。時間領域の手法が依然として一般的ですが、周波数領域のアプローチは多スケール周期パターンを効果的に捉え、シーケンス依存性を低減し、信号を自然にノイズ除去することができます。しかし、既存の手法では通常、すべての周波数に対して統一された学習目標でモデルコンポーネントを訓練します。これにより学習速度が不一致となりやすい状況が生じます:高周波成分は早く収束し、過学習のリスクがありますが、低周波成分は十分な学習時間が不足して未学習になる傾向があります。この課題に対処するため、私たちはBEAT(Balanced frEquency Adaptive Tuning)と呼ばれる新しいフレームワークを提案します。BEATは各周波数の学習状態を動的に監視し、勾配更新を適応的に調整します。各周波数での収束、過学習、または未学習を認識することで、BEATは学習優先度を動的に再割り当てし、急速に学習する成分の勾配を緩和しつつ、遅い成分の勾配を増加させることで、異なる周波数間での競合する目的間の緊張関係を軽減し、全体的な学習過程を同期させます。7つの実世界データセットに対する広範な実験結果から、BEATが最先端の手法よりも一貫して優れた性能を示していることが確認されました。

BEAT: 長期時系列予測のためのバランスの取れた周波数適応調整 | 最新論文 | HyperAI超神経