11日前

FCN:クリック率予測のための指数型および線形クロスネットワークの融合

Honghao Li, Yiwen Zhang, Yi Zhang, Hanwei Li, Lei Sang, Jieming Zhu
FCN:クリック率予測のための指数型および線形クロスネットワークの融合
要約

クリックスルー率(CTR)予測における重要なモデリングパラダイムとして、Deep & Cross Network(DCN)およびその派生モデルは、計算コストと性能のバランスにおいて優れた成果を上げたことから広く認知されている。このパラダイムは、線形増加する特徴間相互作用を明示的にモデル化する「クロスネットワーク」と、高次元の特徴間相互作用を暗黙的に捉える深層ニューラルネットワーク(DNN)を併用している。しかし、これらのモデルには以下の主要な課題が依然として存在する:(1)既存の明示的特徴相互作用手法の性能は、DNNに比べて劣っており、結果として全体のモデル性能はDNNに依存している;(2)高次元特徴相互作用を捉えると主張しているものの、これらの相互作用内に潜在するノイズを無視しがちである;(3)異なる相互作用ネットワークブランチの学習プロセスには適切な監視信号が不足している;(4)DNNに依存するため、モデルが捉える高次元特徴相互作用はしばしば暗黙的かつ解釈不能である。上記の課題に対処するため、本研究では新たなモデルであるFusing Cross Network(FCN)を提案し、その副ネットワークとしてLinear Cross Network(LCN)とExponential Cross Network(ECN)を導入する。FCNは、線形および指数関数的成長を伴う明示的な特徴相互作用を同時に捉えることで、暗黙的なDNNに依存する必要を排除する。さらに、自己マスク(Self-Mask)操作を導入し、層ごとにノイズをフィルタリングするとともに、クロスネットワークのパラメータ数を半分に削減する。2つのクロスネットワークを効果的に学習させるために、各ネットワークに特化した監視信号を提供するシンプルかつ効果的な損失関数「Tri-BCE」を提案する。本研究では、6つのベンチマークデータセット上でFCNの有効性、効率性、解釈可能性を評価した。さらに、LCNとECNを統合することで、FCNは新たな最先端の性能を達成した。

FCN:クリック率予測のための指数型および線形クロスネットワークの融合 | 最新論文 | HyperAI超神経