摘要
许多网络应用的预测任务需要对分类变量进行建模，例如用户ID和人口统计学特征（如性别和职业）。为了应用标准的机器学习技术，这些分类预测变量通常通过独热编码转换为一组二进制特征，从而使生成的特征向量非常稀疏。为了从这种稀疏数据中有效学习，考虑特征之间的交互作用至关重要。因子分解机（Factorization Machines, FMs）是一种广泛使用的解决方案，可以高效地利用二阶特征交互作用。然而，FM以线性方式建模特征交互作用，这可能不足以捕捉现实世界数据中的非线性和复杂内在结构。虽然近年来深度神经网络已被应用于工业界来学习非线性特征交互作用，例如Google的Wide&Deep模型和Microsoft的DeepCross模型，但深度结构同时使得它们难以训练。在本文中，我们提出了一种新颖的模型——神经因子分解机（Neural Factorization Machine, NFM），用于在稀疏设置下进行预测。NFM无缝结合了FM在线性建模二阶特征交互作用方面的优势以及神经网络在非线性建模高阶特征交互作用方面的能力。从概念上讲，NFM比FM更具表达力，因为没有隐藏层的FM可以视为NFM的一个特例。在两个回归任务上的实证结果表明，即使只有一个隐藏层，NFM也显著优于FM，相对改进率为7.3%。与最近的深度学习方法Wide&Deep和DeepCross相比，我们的NFM采用了更浅的结构但在性能上更优，并且在实际应用中更容易训练和调参。