摘要
在诸多高风险应用场景中，人工智能（AI）决策的可解释性日益重要，甚至已成为必要要求，因为最终决策者始终是人类。本文提出两种新型的自解释图像分类架构，其核心机制在于：首先基于查询图像与样本图像之间的视觉对应关系进行解释，随后才做出预测（与事后解释方法形成对比）。相较于ResNet-50和k近邻分类器（kNN），我们的模型在分布外（OOD）数据集上的表现持续提升（提升1至4个百分点），而在分布内测试中性能略有下降（降低1至2个百分点）。通过在ImageNet和CUB数据集上开展的大规模人类实验，我们发现基于视觉对应关系的解释比kNN提供的解释对用户更具实用性。此外，我们的解释方法显著提升了用户识别并拒绝AI错误决策的能力，优于所有其他对比方法。值得注意的是，本研究首次在ImageNet和CUB图像分类任务中实现了互补型人机协作的准确率——即人机协同的整体准确率高于单独使用AI或单独依靠人类决策的准确率。