7日前

順次推薦における自己注意機構を超える注意型誘導バイアス

Yehjin Shin, Jeongwhan Choi, Hyowon Wi, Noseong Park
順次推薦における自己注意機構を超える注意型誘導バイアス
要約

Transformerを基盤とする順次推薦(Sequential Recommendation, SR)モデルは、著しい成果を上げています。コンピュータビジョンおよび自然言語処理分野におけるTransformerの自己注意機構(self-attention)は、過度な平滑化(oversmoothing)問題に悩まされており、これは隠れ表現がトークン同士に類似してしまう現象を指します。本研究では、初めてSR領域においても同様の問題が発生することを示しました。さらに、自己注意機構がSRにおいて低域フィルタリング(low-pass filtering)の性質を持つこと、これが過度な平滑化を引き起こしていることを、画期的な調査を通じて明らかにしました。これを受けて、本研究では「順次推薦のための自己注意を超える(Beyond Self-Attention for Sequential Recom-mendation, BSARec)」という新規手法を提案します。本手法はフーリエ変換を活用し、i)細粒度の順次パターンを考慮することで誘導的バイアス(inductive bias)を導入し、ii)低周波と高周波の情報を統合することで過度な平滑化を緩和するという点で特徴があります。本研究の発見は、SR分野における顕著な進展をもたらし、既存のTransformerベースのSRモデルにおける性能ギャップを埋める可能性を秘めています。提案手法の有効性を検証するため、6つのベンチマークデータセットを用いた広範な実験を実施しました。実験結果から、本モデルが7つのベースライン手法を上回る推薦性能を示したことが確認されました。本研究の実装コードは、https://github.com/yehjin-shin/BSARec にて公開されています。

順次推薦における自己注意機構を超える注意型誘導バイアス | 最新論文 | HyperAI超神経