1 个月前

集合间交互的深度模型

Jason Hartford; Devon R Graham; Kevin Leyton-Brown; Siamak Ravanbakhsh
集合间交互的深度模型
摘要

我们利用深度学习来建模两个或多个对象集之间的交互,例如用户对电影的评分、蛋白质与药物的结合,或者三元用户-项目-标签交互。这些交互的经典表示形式是一个矩阵(或更高维的张量),具有可交换性属性:行或列的排列不会改变编码的意义。我们认为模型应该具备置换等变性(Permutation Equivariant, PE):即在这些排列下做出相同的预测。我们提出了一种参数共享方案,并证明了在不违反PE的情况下,该方案无法进一步提高表达能力。这一方案带来了三个好处。首先,我们在多个矩阵补全基准测试中展示了最先进的性能。其次,我们的模型所需参数数量与对象的数量无关,因此能够很好地扩展到大型数据集。第三,模型可以针对训练时未出现的新对象进行查询,但这些对象的交互已在之后被观察到。实验结果表明,我们的模型在这项矩阵外推任务上表现出令人惊讶的良好泛化性能,不仅在同一领域内(例如从用于训练的同一分布中抽取的新用户和新电影),甚至在不同领域之间也是如此(例如在电影数据上训练后预测音乐评分)。