HyperAIHyperAI

Command Palette

Search for a command to run...

武大学子研究成果被信息安全顶级会议ACM CCS 2025录用

近日,武汉大学信息管理学院博士研究生陈卓作为第一作者的研究成果“FlippedRAG: Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models”被第32届国际计算机与通信安全会议(ACM CCS 2025)录用。该论文揭示了大语言模型中检索增强生成(RAG)系统在现实应用中的潜在安全风险,提出了一种新型黑盒对抗攻击方法,引发学界广泛关注。 RAG技术通过整合外部知识库提升大模型生成内容的准确性与可信度,广泛应用于问答系统、智能客服等领域,尤其在缓解模型“幻觉”问题方面表现突出。然而,随着其应用深化,其安全性问题日益凸显。现有研究多聚焦于白盒环境或事实性问答任务,对黑盒条件下、涉及主观观点类任务的安全威胁缺乏系统探讨。针对这一关键空白,陈卓团队提出FlippedRAG——一种基于迁移学习的对抗攻击框架,能够在不掌握模型内部结构的前提下,仅通过少量被篡改的检索文档,即可有效操纵大模型输出带有特定偏见的观点。 该方法的核心在于构建一个代理检索器,结合精心设计的对抗性触发文本,实现对模型生成内容的精准控制。实验结果显示,FlippedRAG在攻击成功率上较现有基线方法平均提升16.7%,可使模型输出观点的极性发生高达50%的偏移。更令人担忧的是,团队通过用户实验发现,此类攻击可导致普通用户真实认知观点发生约20%的显著转变,凸显其潜在的社会影响。 尤为突出的是,FlippedRAG具备较强的隐蔽性,能够有效规避当前主流的防御检测机制,突破了以往攻击方法多依赖白盒信息或采用易被识别的启发式策略的局限,更贴近真实攻击场景。这一成果不仅揭示了RAG系统在开放环境下的脆弱性,也为后续安全防护机制的设计提供了重要依据。 本研究由信息管理学院陆伟教授、程齐凯副教授、张帆特聘副研究员、博士后刘家伟(通讯作者)与美国伍斯特理工学院刘晓钟副教授共同指导,信息管理学院博士生刘昊坦、硕士生陈淼坤及本科生龚宇扬参与了相关工作。 ACM CCS 2025将于2025年10月13日至17日在台北举行,是信息安全领域公认的国际顶级会议,与IEEE S&P、USENIX Security、NDSS并列,被中国计算机学会(CCF)列为A类会议。近十年来,该会议录用率维持在约18%,代表了全球信息安全研究的最高水平。此次武汉大学学子成果入选,展现了学校在人工智能安全前沿领域的科研实力与创新能力。

الروابط ذات الصلة