11 天前

DCN V2:改进的深度与交叉网络及大规模网络学习排序系统的实用经验

Ruoxi Wang, Rakesh Shivanna, Derek Z. Cheng, Sagar Jain, Dong Lin, Lichan Hong, Ed H. Chi
DCN V2:改进的深度与交叉网络及大规模网络学习排序系统的实用经验
摘要

学习有效的特征交叉是构建推荐系统的核心所在。然而,由于特征空间稀疏且规模庞大,识别有效的特征交叉通常需要进行耗时的穷举搜索。为此,深度交叉网络(Deep & Cross Network, DCN)被提出,旨在自动且高效地学习有限阶数的预测性特征交互。然而,在服务于数十亿训练样本的超大规模网络场景中,DCN的交叉网络在捕捉更具预测性的特征交互方面表现出表达能力有限的问题。尽管近年来相关研究取得了显著进展,但许多实际部署的深度学习模型仍依赖传统的前馈神经网络来学习特征交叉,效率较低。针对DCN及现有特征交互学习方法的优缺点,我们提出了一种改进框架——DCN-V2,以提升DCN在大规模工业场景下的实用性。通过在多个主流基准数据集上开展全面的实验研究,结合大规模超参数搜索与模型调优,我们发现DCN-V2在各项指标上均显著优于当前最先进的算法。改进后的DCN-V2在保持高效计算成本的同时,具备更强的表达能力,尤其在结合低秩混合架构时表现更为突出。DCN-V2结构简洁,易于作为通用模块集成,已在谷歌多个超大规模学习排序系统中成功部署,显著提升了离线精度与在线业务指标表现。

DCN V2:改进的深度与交叉网络及大规模网络学习排序系统的实用经验 | 最新论文 | HyperAI超神经