要約
深層学習を基にした手法は、産業界の推薦システム（RS）で広く使用されています。従来の研究では、Embedding&MLPパラダイムが採用されており、原始的な特徴量が低次元ベクトルに埋め込まれ、その後MLP（多層パーセプトロン）に入力され最終的な推薦が生成されます。しかし、これらの大部分の研究は異なる特徴量を単純に連結するだけであり、ユーザーの行動の順序性を無視しています。本論文では、強力なTransformerモデルを使用して、アリババにおけるユーザーの行動シーケンスに潜む順序的な信号を捉える方法を提案します。実験結果は提案モデルの優位性を示しており、淘宝（Taobao）においてオンライン展開され、2つのベースラインと比較してオンラインクリック率（CTR）において有意な改善が得られています。