AutoFIS：因子分解模型中自动特征交互选择用于点击率预测

在推荐系统中，学习特征交互对于点击率（Click-Through Rate, CTR）预测至关重要。在现有的大多数深度学习模型中，特征交互通常依赖人工设计或简单枚举。然而，枚举所有可能的特征交互会导致巨大的内存开销和计算成本。更严重的是，无效的交互可能引入噪声，增加模型训练的复杂性。为此，本文提出了一种两阶段算法——自动特征交互选择（Automatic Feature Interaction Selection, AutoFIS）。AutoFIS能够以与训练目标模型至收敛相当的计算开销，自动识别因子分解模型中的重要特征交互。在搜索阶段，我们摒弃了在离散候选特征交互集合中进行搜索的传统方式，转而通过引入架构参数（architecture parameters）将选择过程连续化。通过在架构参数上施加正则化优化策略，模型可在训练过程中自动识别并剔除冗余的特征交互。在重训练阶段，我们保留架构参数作为注意力机制单元，进一步提升模型性能。在三个大规模数据集（包括两个公开基准数据集和一个私有数据集）上的离线实验表明，AutoFIS能够显著提升多种基于因子分解机（FM）的模型性能。该方法已成功部署于华为应用商店推荐系统的训练平台，10天的线上A/B测试结果显示，AutoFIS使DeepFM模型的CTR和转化率（CVR）分别提升了20.3%和20.1%。