3 个月前

MaskNet:通过实例引导的掩码引入特征-wise 乘法至 CTR 排名模型

Zhiqiang Wang, Qingyun She, Junlin Zhang
MaskNet:通过实例引导的掩码引入特征-wise 乘法至 CTR 排名模型
摘要

点击率(Click-Through Rate, CTR)预测已成为众多实际应用场景中的核心任务,而排序模型能否有效捕捉复杂的高阶特征交互,对性能至关重要。目前,浅层前馈神经网络被广泛应用于多项前沿深度神经网络(DNN)模型中,如FNN、DeepFM和xDeepFM,以隐式方式建模高阶特征交互。然而,已有研究证明,依赖加性特征交互(尤其是前馈神经网络结构)在捕捉普遍存在的特征交互方面效率较低。为解决这一问题,本文提出一种基于实例引导掩码(instance-guided mask)的机制,将特定的乘法运算引入DNN排序系统中。该机制在特征嵌入层及前馈层中,根据输入实例动态引导执行逐元素乘积操作,从而更有效地建模特征间的非线性交互。此外,本文进一步提出一种名为MaskBlock的新结构,通过将层归一化(layer normalization)、实例引导掩码与前馈层有机结合,使DNN模型中的前馈层能够同时融合加性与乘性特征交互,从而增强模型表达能力。MaskBlock作为基础构建模块,支持在不同配置下灵活设计新型排序模型。基于MaskBlock构建的模型称为MaskNet。本文提出两种新型MaskNet模型,以验证MaskBlock作为高性能排序系统构建基元的有效性。在三个真实世界数据集上的实验结果表明,所提出的MaskNet模型显著优于当前先进模型(如DeepFM和xDeepFM),充分证明了MaskBlock作为新型高效基础单元,在构建高性能排序系统中的优越性。