11 天前

FiBiNet++:通过低秩特征交互层减少模型规模以实现点击率预测

Pengtao Zhang, Zheng Zheng, Junlin Zhang
FiBiNet++:通过低秩特征交互层减少模型规模以实现点击率预测
摘要

点击率(Click-Through Rate, CTR)估计已成为众多实际应用场景中的核心任务,为此已提出多种深度学习模型。已有研究证明,FiBiNet模型在性能上表现优异,尤其在Avazu数据集上超越了所有其他对比模型。然而,FiBiNet模型庞大的参数规模限制了其更广泛的应用。本文提出一种新型的FiBiNet++模型,通过重构FiBiNet的网络结构,在显著降低模型规模的同时进一步提升了模型性能。其中一项关键技术是本文提出的“低秩层”(Low Rank Layer),该层专注于特征交互建模,成为实现高效模型压缩的关键驱动力。在三个公开数据集上的大量实验结果表明,FiBiNet++相较于原始FiBiNet,能够将非嵌入层(non-embedding)参数量减少12至16倍。与此同时,FiBiNet++在CTR预测性能上显著优于当前最先进的方法,包括原始的FiBiNet模型。