重新思考平均精度的优化：仅在正例之前惩罚负例已足够

在图像检索任务中，优化平均精度（Average Precision, AP）的近似方法已受到广泛关注。然而，受限于AP本身的定义，现有方法在计算损失时同时考虑了每个正样本之前的所有正负样本排序情况。本文提出不同观点：实际上，仅需对位于正样本之前的负样本施加惩罚即可，因为损失仅来源于这些负样本。为此，我们提出一种新颖的损失函数——仅惩罚正样本前的负样本（Penalizing Negative instances before Positive ones, PNP），该函数可直接最小化每个正样本前的负样本数量。此外，基于AP的方法通常采用固定且次优的梯度分配策略。因此，我们通过构建损失函数的导数函数，系统性地研究了多种梯度分配方案，进而提出了两种变体：PNP-I（采用递增导数函数）与PNP-D（采用递减导数函数）。PNP-I通过为较难的正样本分配更大的梯度，更加关注困难样本，并试图使所有相关实例彼此靠近；而PNP-D则对这些困难样本关注较少，采用更温和、渐进的方式进行修正。在大多数真实世界数据集中，某一类别通常包含多个局部聚类。PNP-I会盲目地将这些聚类合并，而PNP-D则保持其原有结构不变。因此，在实际应用中，PNP-D更具优势。在三个标准检索数据集上的实验结果与上述分析一致。大量实验证明，PNP-D在性能上达到了当前最优水平。相关代码已开源，地址为：https://github.com/interestingzhuo/PNPloss。