摘要
点击率（Click-Through Rate, CTR）估计是个性化广告与推荐系统中的核心任务，而排序模型能否有效捕捉复杂的高阶特征交互，对提升预测性能至关重要。受自然语言处理领域中ELMo和BERT等模型成功的启发——这些模型能够根据词语所处的上下文句子信息动态地优化词嵌入表示——我们提出，在CTR估计任务中，同样有必要基于输入样本所包含的上下文信息，逐层动态地优化每个特征的嵌入表示，从而更有效地建模各特征之间的有用交互关系。为此，本文提出一种新颖的CTR建模框架——ContextNet，该框架通过动态调整每个特征的嵌入表示，隐式地建模高阶特征交互。ContextNet主要由两个核心组件构成：上下文嵌入模块（Contextual Embedding Module）与ContextNet块（ContextNet Block）。其中，上下文嵌入模块负责从输入实例中聚合每个特征的上下文信息；而ContextNet块则逐层维护各特征的嵌入表示，并通过将上下文中的高阶交互信息融合进特征嵌入中，实现其表示的动态优化与更新。为进一步具体化该框架，我们在此基础上提出了两种具体模型：ContextNet-PFFN与ContextNet-SFFN。前者在ContextNet块中引入线性上下文嵌入网络与一个非线性映射子网络（PFFN），后者则采用两个非线性映射子网络（SFFN）以增强特征交互建模能力。我们在四个真实世界数据集上进行了广泛的实验，结果表明，所提出的ContextNet-PFFN与ContextNet-SFFN模型在性能上显著优于当前先进的模型，如DeepFM与xDeepFM，充分验证了所提框架的有效性与优越性。