ContextNet：文脈情報を用いた特徴埋め込みの精緻化によるクリック率予測フレームワーク

クリックスルー率（CTR）推定は、パーソナライズ広告およびレコメンデーションシステムにおける基本的なタスクであり、ランキングモデルが複雑な高次元特徴を効果的に捉えることが重要である。自然言語処理（NLP）分野におけるELMOやBertの成功に触発され、単語の埋め込み表現をその出現する文脈情報に基づいて動的に更新する手法が注目されている。同様に、CTR推定タスクにおいても、入力インスタンスに含まれる文脈情報を基に、各特徴の埋め込み表現を層を重ねるごとに動的に更新することで、特徴間の有用な相互作用を効果的に捉えることが可能であると考えられる。本論文では、入力文脈に応じて各特徴の埋め込みを動的に精緻化することにより、高次元特徴相互作用を暗黙的にモデル化する新しいCTRフレームワーク「ContextNet」を提案する。具体的には、ContextNetは2つの主要な構成要素からなる：文脈埋め込みモジュールとContextNetブロック。文脈埋め込みモジュールは、入力インスタンスから各特徴に対する文脈情報を集約し、ContextNetブロックは各特徴の埋め込みを層ごとに維持しつつ、文脈に由来する高次元相互作用情報を特徴埋め込みに統合することで、その表現を動的に精緻化する。フレームワークの具体化を図るため、ContextNetブロック内に線形文脈埋め込みネットワークと2つの非線形写像サブネットワークを導入し、それぞれ「ContextNet-PFFN」と「ContextNet-SFFN」という2つのモデルを提案した。4つの実世界データセットを用いた広範な実験の結果、提案モデルであるContextNet-PFFNおよびContextNet-SFFNは、DeepFMやxDeepFMを含む最先端モデルと比較して顕著に優れた性能を発揮することが確認された。