HyperAIHyperAI

Command Palette

Search for a command to run...

AutoFIS:因子分解模型中自动特征交互选择用于点击率预测

Bin Liu Chenxu Zhu Guilin Li Weinan Zhang Jincai Lai Ruiming Tang Xiuqiang He Zhenguo Li Yong Yu

摘要

在推荐系统中,学习特征交互对于点击率(Click-Through Rate, CTR)预测至关重要。在现有的大多数深度学习模型中,特征交互通常依赖人工设计或简单枚举。然而,枚举所有可能的特征交互会导致巨大的内存开销和计算成本。更严重的是,无效的交互可能引入噪声,增加模型训练的复杂性。为此,本文提出了一种两阶段算法——自动特征交互选择(Automatic Feature Interaction Selection, AutoFIS)。AutoFIS能够以与训练目标模型至收敛相当的计算开销,自动识别因子分解模型中的重要特征交互。在搜索阶段,我们摒弃了在离散候选特征交互集合中进行搜索的传统方式,转而通过引入架构参数(architecture parameters)将选择过程连续化。通过在架构参数上施加正则化优化策略,模型可在训练过程中自动识别并剔除冗余的特征交互。在重训练阶段,我们保留架构参数作为注意力机制单元,进一步提升模型性能。在三个大规模数据集(包括两个公开基准数据集和一个私有数据集)上的离线实验表明,AutoFIS能够显著提升多种基于因子分解机(FM)的模型性能。该方法已成功部署于华为应用商店推荐系统的训练平台,10天的线上A/B测试结果显示,AutoFIS使DeepFM模型的CTR和转化率(CVR)分别提升了20.3%和20.1%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供