BERT4Rec: 変換器から得られる双方向エンコーダ表現を用いたシーケンシャル推薦

ユーザーの動的かつ進化する好みをその歴史的な行動からモデル化することは、推薦システムにとって挑戦的でありながら重要な課題です。従来の手法では、リカレントニューラルネットワーク（Recurrent Neural Network）などの逐次的ニューラルネットワークを使用して、ユーザーの過去の相互作用を左から右へと隠れ表現にエンコードし、推薦を行うことが一般的でした。これらの手法は満足できる結果を達成していますが、しばしば厳密に順序付けられたシーケンスを前提としており、実際には常に適切とは限りません。私たちは、このような左から右への単方向アーキテクチャが歴史的なシーケンス表現の能力を制限すると主張します。この目的のために、双方向エンコーダー表現（Bidirectional Encoder Representations from Transformers for Sequential Recommendation: BERT4Rec）を導入しました。しかし、深層双方向モデルにおいて左側と右側のコンテキスト両方に依存すると、各項目が間接的に「目標項目を見ることができる」ため、学習が自明なものになってしまいます。この問題に対処するために、クローズタスクを使用して双方向モデルを学習させます。このタスクでは、シーケンス内のマスクされた項目を予測し、その左側と右側のコンテキストに基づいて条件づけを行います。シーケンス内の各位置で次の項目を予測する方法と比較すると、クローズタスクはより多くのサンプルを生成できることから、より強力な双方向モデルの学習が可能となります。4つのベンチマークデータセットに対する広範な実験により、私たちのモデルがさまざまな最先端の逐次的モデルに対して一貫して優れた性能を示していることが確認されました。