AutoInt: 自己注意型ニューラルネットワークを用いた自動的な特徴量相互作用学習

クリックスルー率（CTR）予測は、ユーザーが広告やアイテムをクリックする確率を予測することを目指しており、オンライン広告や推薦システムなど多くのオンラインアプリケーションにおいて重要です。この問題は非常に困難であり、(1) 入力特徴量（例：ユーザーID、ユーザー年齢、アイテムID、アイテムカテゴリ）が通常疎で高次元であるため、(2) 効果的な予測には高次の組み合わせ特徴量（\textit{a.k.a.} 交差特徴量）が必要ですが、これらの特徴量をドメインの専門家が手作業で生成することは非常に時間のかかる作業であり、列挙することは不可能です。したがって、疎で高次元の原始特徴量とその意味のある組み合わせの低次元表現を見つける取り組みが行われています。本論文では、入力特徴量の高次の相互作用を自動的に学習する効果的かつ効率的な方法である\emph{AutoInt}を提案します。提案したアルゴリズムは非常に汎用的であり、数値型およびカテゴリ型の入力特徴量に適用できます。具体的には、数値型とカテゴリ型の両方の特徴量を同じ低次元空間にマッピングします。その後、低次元空間での特徴量相互作用を明示的にモデル化するために残差接続を持つマルチヘッド自己注意ニューラルネットワークを提案します。マルチヘッド自己注意ニューラルネットワークの異なる層を使用することで、入力特徴量の異なる次数の組み合わせをモデル化できます。全体的なモデルは大規模な原始データに対して端から端まで効率的に適合することができます。4つの実世界データセットに対する実験結果は、提案手法が既存の最先端手法よりも優れた予測性能を示すだけでなく、良好な説明可能性も提供することを示しています。コードは以下のURLから入手可能です: \url{https://github.com/DeepGraphLearning/RecommenderSystems}。