新法医工具可“复活”故障AI系统，揭示其内部运作机制

随着无人机运送医疗物资和数字助手执行日常任务等场景的增多，人工智能系统正逐渐渗透到日常生活中。这些系统的创造者们承诺它们将带来变革性的益处，但这些系统并不是无懈可击的。AI系统的故障可能由技术设计缺陷或偏见训练数据引起，也可能因代码中的漏洞被恶意黑客利用。确定AI故障的原因对于修复系统的安全性至关重要，但AI系统通常具有高度的不透明性，即便是其创造者也难以完全理解系统内部的运作机制。因此，如何在AI系统失败或遭受攻击后进行调查成为一大难题。 为了应对这一挑战，佐治亚理工大学的研究团队开发了一个名为AI Psychiatry（AIP）的工具，专门用于“复活”出问题的AI模型，以便于分析和测试。AIP通过一系列法医学算法分离出AI系统背后的决策数据，然后将其重组为一个功能相同的模型。这样，调查人员可以在受控环境中“重启”AI系统，并用恶意输入对其进行测试，以检查是否存在有害或隐藏行为。例如，在自动驾驶车辆偏离道路并发生事故的情况下，事故现场的内存映像中存储了AI控制系统的关键状态和决策信息。借助AIP，调查人员可以提取这个AI模型，分析其内部数据，并在安全环境中重新加载和测试它，以查明问题所在的真正原因。 研究团队对30个AI模型进行了测试，其中24个被故意“设置后门”，即在特定触发条件下会产生错误结果。测试结果显示，AIP能够成功恢复、重置并测试所有模型，包括用于街道标志识别的真实场景中的模型。这意味着AIP能够在很多原本会留下更多疑问的失败案例中，有效地揭开数字谜团。而如果AIP没有发现汽车AI系统的漏洞，调查人员还可以排除AI的影响，寻找其他可能的原因，如损坏的摄像头。 AIP不仅适用于自动驾驶车辆，其主算法具有通用性，可以适用于任何使用流行AI开发框架的模型。这意味着无论AI是在推荐产品还是引导无人机队列，都可以利用AIP对其进行分析。此外，AIP完全是开源的，供任何有需求的调查人员使用。它还可以作为审计AI系统的重要工具，预防潜在的问题。目前，从警察执法到儿童保护服务等政府机构都在逐步将AI系统整合到工作流程中，因此在州级层面，AI审计变得越来越常见。有了AIP这样的工具，审计人员可以对不同的AI平台和部署应用一致的法医学方法，这对于AI系统的创造者以及受到AI影响的所有人都是有益的。 业内专家认为，AIP的出现填补了法医学领域的一个重要空白，为AI系统的可解释性和透明性提供了新的途径。佐治亚理工大学的计算机科学家Brendan Saltaformaggio教授表示：“AIP不仅能够帮助我们更好地理解AI故障的原因，还能在系统部署前进行有效审计。它是一个重要的进步，有助于提高AI系统的整体安全性和可靠性。” 佐治亚理工大学是美国顶尖的公立研究型大学之一，拥有强大的计算机科学和网络安全研究实力。AIP项目得到了该校计算机工程和网络安全领域的多位资深专家的支持。