一句话总结

在牛津大学、维也纳技术大学及合作机构开展的关于胸部 X 线分析的大规模用户研究中，85 名医疗从业者参与。研究发现，当 AI 建议不正确时，基于文本的解释会诱发显著过度依赖，而将其与视觉显著性图结合可缓解这一影响。

核心贡献

• 一项涉及 85 名医疗从业者的大规模用户研究，在胸部 X 线人机协作分析中评估了视觉显著性图、自然语言解释及其组合。

• 基于文本的解释会导致对 AI 建议显著过度依赖；在同时考虑 AI 建议和解释事实正确性的情况下，将其与显著性图结合可降低该影响。

• 结果表明，解释中事实正确信息的数量，以及其与 AI 正确性之间的一致性，会强烈影响视觉解释、语言解释和组合解释的有用性。

引言

生成式 AI 在医学中应用日益广泛，尤其是通过让用户感觉自然并提升信任的语言界面，但医学影像模型仍面临采用障碍，因为其推理过程不透明，并可能在高风险临床环境中表现出脆弱性、偏见或不安全性。先前的可解释性研究难以评估，因为解释可能按不同标准评判，用户偏好往往不能反映有用性，且很少临床研究在 AI 预测和解释均可能不正确的现实条件下考察解释。作者利用一项胸部 X 线临床决策支持环境中的人体受试者研究，比较自然语言解释、显著性图、两者组合以及无解释，同时改变 AI 和解释的正确性。研究发现，语言解释可能鼓励过度依赖，语言和视觉解释相结合最有用，解释正确性与 AI 正确性之间的一致性强烈决定解释是改善还是损害用户表现。

数据集

• 作者基于与人工撰写放射学报告配对的胸部 X 线构建研究数据。研究样本来自已经生成 AI 建议和解释的图像，这使作者能够评估不同解释类型在不完美 XAI 环境中的表现。

• 人类参与者来自接受过胸部 X 线判读训练但并非专科放射科医生的医学生和医生。作者选择该群体，是因为其能力足以避免对 AI 的过度依赖，同时又仍能代表可能从临床决策支持中受益的用户。样本量基于试点研究中的功效模拟估计得到。

• 对于主要研究样本，作者从 160 个示例开始。3 名经验丰富的放射科医生标注 AI 建议和解释的正确性。在更大集合中，作者仔细筛选出用于该研究的 80 个案例。

• 筛选过程受到控制，以平衡最终子集之间的多个因素：各类别中错误预测的比例、案例模糊程度，以及 C_χ 分数分布。这使研究集合更适合评估用户对正确、不正确和不确定 AI 建议的反应。

• 所选案例覆盖常见胸部 X 线发现，包括肺炎、肺不张、肺水肿、容量超负荷或心力衰竭、误吸和肺泡出血。这些类别有助于确保研究纳入多样但临床相关的场景。

• 在实际应用中，作者将经过整理的 80 个案例子集用作面向参与者的研究材料评估数据集，而不是训练集。每个案例所构建的关键元数据似乎包括放射学发现或类别、AI 建议是否正确，以及模糊程度和 C_χ 分数等指标。提供的文本未描述裁剪策略、额外元数据架构或模型特定的训练混合比例。

方法

作者围绕共享分类器和四种解释条件构建受控临床决策支持流程。为保持比较内部一致，参与者看到的是看似来自四个不同 AI 系统的输出，但这些系统均由同一视觉主干派生。该设计隔离了解释模态效应，同时固定底层预测模型。

核心模型是一个用于胸部 X 线分类的视觉语言系统。DenseNet 视觉编码器处理每张 X 线图像，并生成 1024 个通道的 $7\times 7$7×7 特征图。这些特征支持两条并行路径。在一条路径中，对特征图进行池化，以执行多标签图像分类并产生 AI 预测。在第二条路径中，特征图被展平为 token 序列，并作为 Transformer 解码器的前缀，从而生成自然语言解释。解码器以预测标签和学到的图像表示为条件，因此最终自然语言解释同时关联视觉输入和模型分类输出。

训练使用成对的 X 线数据、放射学发现，以及从临床报告中提取的自然产生自然语言解释。这种监督使模型能够学习临床真实表述模式，包括关于位置、大小、严重程度、确定性和鉴别诊断的信息。因此，解释并非由单独的事后转述模块产生。相反，它们与视觉推理表示联合学习，语气强度等方面被视为解释内容本身的一部分。

基于这一统一架构，研究形成四个实验变体：

$$\chi_{\mathrm{None}}$$χNone​

仅使用 DenseNet 分类器，且不提供解释。第二个变体，

$$\chi_{\mathrm{SM}}$$χSM​

使用相同分类器，但加入视觉显著性图。第三个变体，

$$\chi_{\mathrm{NLE}}$$χNLE​

使用完整视觉语言模型生成自然语言解释，不附带显著性图。第四个变体，

$$\chi_{\mathrm{Comb}}$$χComb​

将自然语言解释与显著性图结合。

对于视觉解释模块，显著性图通过对 DenseNet 主干应用 Grad-CAM 获得。选择该方法是因为其被广泛接受并适用于医学影像，同时其行为会与替代归因方法进行比较检查。所得显著性图会突出支持模型预测的图像区域。

研究还通过两个正确性变量显式建模解释的有用性。建议正确性由

$$C_{AI} \in \{0,1\},$$CAI​∈{0,1},

表示，用于刻画 AI 预测是否正确。解释正确性由 $C_{\chi}$Cχ​ 表示，用于刻画解释在临床和事实层面的准确程度。这两个变量被视为相互独立，因为正确预测仍可能伴随较弱解释，而错误预测仍可能由流畅或视觉上看合理的解释支持。

为确保研究案例覆盖有意义的交互模式，作者获得专家标注，然后选择均衡的示例子集。筛选控制建议正确性、解释正确性、模糊程度和发现类型的分布。最终案例集合涵盖建议与解释质量的主要组合，从正确建议配合强解释的支持性案例，到错误建议配合仍然看似有说服力解释的欺骗性案例。如下方图表所示：

所得框架使研究能够考察解释是否改善人类判断，保持中性，甚至增加对 AI 系统的过度依赖。具体而言，该方法将解释格式效应与底层建议正确性和解释本身正确性分离，因此性能差异可归因于这些因素之间的交互，而非仅归因于模型性能。

实验

一项大规模、预先注册的研究由临床医生参与，评估无解释、显著性图、自然语言解释及其组合如何影响对 AI 建议的认同，并同时考察解释正确性和感知有用性。混合效应统计模型、研究后调查和探索性指标验证了以下结论：基于语言的解释更受偏好并被认为有帮助，但在 AI 错误时可能鼓励过度依赖；当解释正确性与建议正确性一致时，视觉解释或组合解释有助于用户识别误导性建议。总体而言，解释有用性取决于解释类型以及解释与 AI 建议之间的一致性，其中组合解释为更安全使用提供了更可靠路径。

表格按 AI 建议是否正确，以及解释正确性低于或高于中位数，对解释进行分类。与建议一致的解释通常有帮助，尤其当正确建议与强解释配对时会出现有说服力的解释。与建议不一致的解释可能有害，尤其是当强解释伴随错误建议时，可能鼓励过度依赖。揭露性解释发生在错误 AI 建议与弱解释配对时，可帮助用户发现 AI 错误。误导性解释发生在错误 AI 建议与强解释配对时，可能使用户更倾向于同意 AI。

参与者在任务后偏好排序中强烈偏好自然语言解释，而非显著性图，组合解释也接近榜首。总体而言，无解释模型和显著性图模型的评价较低，且更常被排在最后。自然语言解释获得最佳平均偏好排序。显著性图是最不受偏好的选项，且经常排在最后。组合解释获得最高排名的可能性与自然语言解释相当。

实验评估了解释质量、与 AI 建议的一致性，以及解释格式如何影响用户行为和偏好。与建议匹配的解释通常有帮助，尤其当正确建议与有说服力的解释配对时；伴随错误建议的强解释可能具有误导性并鼓励过度依赖，而弱解释可能有助于揭示错误。用户偏好结果表明，自然语言解释最受偏好，显著性图最不受偏好，组合解释在获得最高排名方面与自然语言解释相当。