摘要
深度神经网络（DNN）的推理准确性是衡量其性能的关键指标，但在实际应用中，该指标会因测试数据集的不同而显著波动，且由于缺乏真实标签（ground truth），通常难以准确获知。这一问题引发了人们对DNN可信度的广泛关注，尤其是在安全关键型应用场景中。本文通过后处理（post-hoc processing）方法，提出一种用于监控用户数据集上真实推理准确率的机制，以提升DNN的可信性。具体而言，我们提出一种基于神经网络的准确性监控模型，该模型仅以已部署DNN的Softmax概率输出作为输入，直接预测该DNN的预测结果是否正确，从而实现对真实推理准确率的估计。该监控模型可在与目标应用场景相关的数据集上进行预训练，仅需对用户数据集中的少量样本（实验中为1%）进行主动标注，即可完成模型迁移。为增强估计的鲁棒性，我们进一步采用基于蒙特卡洛Dropout（Monte-Carlo dropout）方法的集成监控模型。我们在多个图像分类和交通标志检测任务中，针对不同的已部署DNN模型进行了评估，测试数据集涵盖正常样本及对抗样本。实验结果表明，所提出的准确性监控模型能够提供接近真实准确率的估计结果，并显著优于现有基准方法。