記憶するか、因子分解するか、あるいは単純に考えるか:CTR予測における最適な特徴相互作用手法の学習

クリックスルー率(CTR)予測は、商業的な推薦システムにおける核心的なタスクの一つである。このタスクは、ユーザーおよびアイテムの特徴をもとに、ユーザーが特定のアイテムをクリックする確率を予測することを目的としている。特徴間の相互作用(feature interactions)は非線形性をもたらすため、CTR予測モデルの性能向上に広く利用されている。したがって、特徴間の相互作用を効果的にモデリングすることは、研究界および産業界の両方で注目を集めている。現在のアプローチは、一般的に以下の3つのカテゴリに分類される。(1)特徴間の相互作用をモデリングしない「ナーディブ手法」(naïve methods):元の特徴のみを用いる。(2)特徴間の相互作用を明示的に新たな特徴として扱い、学習可能な埋め込み(embeddings)を割り当てる「記憶型手法」(memorized methods)。(3)元の特徴に対して潜在ベクトルを学習し、因子分解関数を通じて相互作用を暗黙的にモデリングする「因子分解型手法」(factorized methods)。これまでの研究では、これらの手法のいずれか一つに依存して相互作用をモデリングする方法は、異なる相互作用の特徴に応じて最適ではないことが示されている。この課題に対処するため、本研究では、各特徴間の相互作用に対して最も適したモデリング手法を自動的に選定する汎用的なフレームワーク「OptInter」を提案する。現在の最先端の深層CTRモデルの多くは、OptInterの具体例として捉えることができる。OptInterの機能を実現するために、最適なモデリング手法を自動的に探索する学習アルゴリズムも導入した。本研究では、4つの大規模データセットを用いた広範な実験を実施した。実験の結果、OptInterは、最も性能の優れた最先端の深層CTRモデルを最大で2.21%向上させた。また、ベースラインを上回る性能を示す記憶型手法と比較して、パラメータ数を最大91%削減した。さらに、OptInterの各構成要素の影響を検証するためのアブレーションスタディを複数実施した。最後に、OptInterの実験結果について解釈可能な議論を提示した。