新AI攻击技术RisingAttacK：轻松操控计算机视觉系统所见内容

研究人员展示了一种新型攻击人工智能（AI）计算机视觉系统的方法，名为RisingAttacK。这项技术通过操纵输入AI的数据，能够控制AI在图像中“看到”的内容。RisingAttacK的核心目标是以最小的变化操纵图像，使AI无法正确识别目标对象，比如车辆、行人或交通信号等。 北卡罗来纳州立大学电气与计算机工程副教授天福吴是该研究的共同通讯作者。他表示，这种攻击不仅影响到自动驾驶汽车、医疗技术和安全应用等多个领域的AI系统，还对人类健康和安全构成潜在威胁。因此，发现这些漏洞并找到防御方法显得尤为重要。 首先，RisingAttacK识别图像中的所有视觉特征，并确定哪些特征对攻击目标至关重要。例如，如果攻击的目的是让AI无法识别汽车，那么它会找出图像中哪些特征对于AI识别汽车最为重要。 接下来，RisingAttacK计算AI系统对数据变化的敏感程度，尤其是对关键特征变化的敏感程度。通过这一计算，研究人员可以对关键特征进行非常细微、精确的修改，使攻击成功。最终结果是，两幅看似完全相同的图像中，人类可以看到相同的对象，但AI却可能只在一幅图中识别出该对象。 研究人员测试了RisingAttacK对四种最常用的计算机视觉AI系统的攻击效果，包括ResNet-50、DenseNet-121、ViTB和DEiT-B。结果显示，RisingAttacK在所有四种系统中都能有效实施攻击。 目前，研究人员正进一步评估RisingAttacK对其他类型的AI系统，如大型语言模型的攻击效果，并致力于开发相应的防御技术。该研究成果将于7月15日在温哥华举办的国际机器学习大会（ICML 2025）上发表。 天福吴的研究为了解和应对AI系统的安全性问题提供了重要线索。这不仅揭示了AI视觉系统的潜在漏洞，也为防范此类攻击指明了方向。北卡罗来纳州立大学在AI安全领域有着深厚的研究基础，未来有望开发出更加稳健的防御机制，以保护AI系统免受恶意攻击。