摘要
近期在学习排序（Learning to Rank）领域的研究已证明，可以从回归树集成模型中高效地蒸馏出神经网络。这一成果使神经网络在排序任务中成为树模型集成的自然竞争者。然而，在效率与有效性方面，回归树集成模型仍显著优于神经网络模型，尤其是在CPU上进行打分时表现更为突出。本文提出一种加速神经网络打分时间的新方法，该方法结合了知识蒸馏（Distillation）、剪枝（Pruning）与快速矩阵乘法技术。我们首先利用知识蒸馏技术，从回归树集成中学习得到浅层神经网络；随后，采用面向效率的剪枝策略，对神经网络中计算开销最大的层进行稀疏化处理，并使用优化的稀疏矩阵乘法进行高效推理。此外，通过深入分析密集与稀疏高性能矩阵乘法的特性，我们构建了一个打分时间预测模型，用于指导设计满足特定效率需求的神经网络架构。在两个公开的排序学习数据集上进行的全面实验表明，与基于树的集成模型相比，本方法生成的神经网络在有效性与效率的权衡曲线上的任意位置均具有竞争力，且在不损害排序质量的前提下，实现了高达4倍的打分速度提升。