Command Palette
Search for a command to run...
立场:AI/ML深度伪造研究与AI生成的非自愿亲密影像(AIG-NCII)存在错位
立场:AI/ML深度伪造研究与AI生成的非自愿亲密影像(AIG-NCII)存在错位
Li Qiwei Wells Lucas Santo Sarita Schoenebeck Eric Gilbert
摘要
AI生成的非自愿亲密影像(AIG-NCII)在AI/ML文献中关于AI生成媒体(通常称为“深度伪造”)的研究中未得到充分关注。当前深度伪造研究主要聚焦于其认知危害——即与真实性和真实性相关的危害——但这与生成式AI滥用中涉及性化影像的主导现实相错位。我们通过对高被引文献进行态势分析,证明针对深度伪造的技术干预几乎完全忽略了AIG-NCII,将研究生态局限于真实性检测工具。在本立场论文中,我们指出,现有干预措施针对的是以观众为中心的认知危害,如欺诈或骗局,却忽视了以主体为中心的尊严危害,如AIG-NCII。我们阐明,知道图像是合成的并不能减轻对主体的伤害,在某些情况下甚至可能加剧伤害。最后,我们提出重新调整该领域的建议,包括更新威胁模型以考虑以主体为中心的危害,并在AI安全研究中应对AIG-NCII。此外,我们警告,研究人员只有在为受害者和研究者都实施安全保障措施,并与性暴力预防领域的专家建立合作关系的情况下,才应涉足这一高风险领域。
一句话总结
Li Qiwei、Wells Lucas Santo、Sarita Schoenebeck 与 Eric Gilbert 认为,面向人工智生成的深度伪造研究因聚焦于以观者为中心的认知性伤害(如真实性)而忽视了以主体为中心的尊严伤害,未能与 AI 生成的非自愿亲密影像(AIG-NCII)的现实对齐;他们指出,知晓图像为合成并不会减轻对主体的伤害,甚至可能加重伤害,并提出应更新威胁模型、将 AIG-NCII 纳入 AI 安全研究、并与性暴力预防领域的专家合作实施安全护栏。
核心贡献
- 本文对高被引深度伪造研究进行了格局分析,表明现有技术干预几乎全部针对以观者为中心的认知性伤害(如真实性检测),而几乎忽略了 AI 生成的非自愿亲密影像(AIG-NCII)。
- 本文引入以观者为中心的认知性伤害与以主体为中心的尊严伤害这一概念区分,并指出知晓图像为合成并不会减轻对主体的伤害,甚至可能加剧伤害。
- 本文提出一系列可操作的建议以重新对齐该领域,包括更新威胁模型以主体为中心,将 AIG-NCII 纳入 AI 安全研究,并实施安全护栏以及与性暴力预防专家的实质性合作作为开展工作的前提。
引言
生成式 AI 被大量滥用于制作非自愿亲密影像(AIG-NCII),包括“脱衣”工具和深度伪造色情内容。这可以说是此类模型最普遍的危害性应用,然而 AI 安全社区却将重心几乎完全放在检测合成媒体上,以保护观者免受欺骗和误导。因此,现有工作关注的是与真实性相关的认知性危害,而忽略了因非自愿使用他人肖像而产生的以主体为中心的尊严伤害,无论观者是否受骗。作者指出一种结构性错位:当前以真实性为导向的干预措施无法减轻,甚至在某些部署场景下会加剧受害者所遭受的侵害。本文是一篇立场论文,通过对近期研究的格局分析揭示这一差距,论证真实性工具在 AIG-NCII 面前的失效或适得其反,并提出具体建议,以将技术努力重新导向以主体为中心的尊严伤害。
数据集
作者构建了一个精心筛选的研究论文语料库,以考察深度伪造检测和取证文献在多大程度上涉及 AI 生成的非自愿亲密影像(AIG‑NCII)。
-
构成与来源:数据集包含 39 篇论文,发表于 2020 至 2025 年间顶级会议或期刊(CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR)或作为高被引(≥80 次引用)的 arXiv 预印本。初始候选集通过 Google Scholar 使用查询语句
(“detection” OR “detector” OR “forensics” OR “recognition” OR “watermark”) AND (“deepfake” OR “synthetic image” OR “fake image” OR “diffusion”)获得,返回 965 篇论文。 -
关键细节与筛选规则:
-
初筛:仅保留来自上述会议/期刊或引用量 ≥80 的论文,得到 379 篇。
-
二次筛选:从该集合中选出引用量前 100 的论文。
-
人工清洗:排除那些将扩散模型用于不相关视觉任务(如肿瘤检测、车辆检测、钢材裂纹检测)的论文,以及一篇撤回论文,最终得到 39 篇论文。
-
子集分类:每篇论文均经过人工检查,查看其是否涉及 AIG‑NCII 相关术语(“non‑consensual intimate imagery”、“NCII”、“revenge porn”、“sexual violence”、“porn”、“nudity”、“undress”、“obscene”)。这 39 篇论文被分为三个层级:
-
未提及(34 篇):问题仅被定位为虚假信息、欺诈或伪造痕迹检测。
-
仅提及(5 篇):相关术语仅在引言或影响声明中一带而过,技术贡献是通用的。
-
技术实现(0 篇):无一篇论文设计了针对 AIG‑NCII 特定威胁模型的干预措施。
-
该数据集在本论文中的用途:经筛选的语料库并非用于训练或混合比例调优,而是作为定性分析的对象。作者对每篇论文进行人工审视,以量化现有研究关注点与 AIG-NCII 现实之间的错位程度,揭示几乎所有的深度伪造危害消减工作都忽略了非自愿亲密影像。所得的分层结果直接支持了本文的主张,即现有文献几乎完全以信任、欺诈和政治误导为动机。
-
处理细节:未应用任何自动裁剪、元数据构建或训练集划分。数据集的构建完全基于引用过滤、关键词筛选和人工内容分析,将每篇论文归类到相应的参与层级。
方法
作者进行了系统性格局分析,以度量深度伪造防御社区对 AIG‑NCII 的深入程度。首先,使用涵盖检测、取证、水印和合成媒体等术语的布尔关键词集在 Google Scholar 进行查询,得到 965 篇候选论文。然后,将结果过滤至顶级会议(CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR)和高被引工作,剔除研讨会论文并纳入相关 arXiv 预印本。经过此轮缩减后剩余 379 篇,选取引用量前 100 的论文进行人工筛选,排除扩散模型用于不相关视视觉任务的贡献(如肿瘤检测、缺陷检测等)以及一篇撤回论文。最终得到 39 篇论文进行定性内容分析。对每篇论文标注是否包含“non‑consensual intimate imagery”、“NCII”、“revenge porn”、“sexual violence”、“nudity”、“undress”等术语。
分析将这 39 篇论文分为三个参与层级:
- 未提及(34 篇) – 将危害纯粹定义为虚假信息、欺诈或伪造痕迹检测。
- 仅提及(5 篇) – 出现过相关术语,但技术方法仍为通用方案。
- 技术实现(0 篇) – 无一项工作设计了针对 AIG‑NCII 特定威胁模型的干预措施。
这种结构化的方法确认了研究社区将深度伪造防御几乎完全锚定在真实性和可信度的概念中,忽略了非自愿且具有亲密性质的伤害。
为了阐释这种缺失,作者随后回顾了构成所调查文献核心的三种主导性基于真实性的干预范式。每种范式均假定真伪验证足以作为安全的代理。
检测方法将问题视为二分类任务,学习真实与合成媒体分布之间的决策边界。早期检测器利用 GAN 特异性痕迹,但扩散模型的兴起迫使重点转向迭代去噪过程留下的指纹。诸如 DIRE 等技术利用了扩散生成图像通过预训练扩散模型反演后具有更低重建误差的观察;另有工作识别出潜在扩散中高斯噪声调度所固有的独特频谱痕迹。近来,检测器已转向基础视觉语言模型(如 CLIP)的特征空间,旨在捕获能够跨快速演变的生成器架构进行泛化的合成语义模式。
溯源方法,以 C2PA 规范为例,摒弃基于学习的决策,转而采用可加密验证的保管链。在每一次修改步骤中,均将数字签名绑定至像素数据的哈希值以及元数据声明的清单(所有权、时间戳)。其核心假设是,从源素材到输出的一条防篡改谱系可直接表明其真实性,从而恢复对媒体来源和编辑历史的信任。
水印技术在生成时将不可见信号直接嵌入媒体内容,以比可分离元数据更鲁棒的方式表明其合成性质。潜层水印和基于采样的方法旨在抵御诸如裁剪、滤波和压缩等常见变换。以谷歌 SynthID 为代表的实现说明了这一范式:信号被编码进素材中,之后仅能通过配对的检测器恢复,从而实现再分发后的事后检测。这三种范式共同说明了当前工具将安全等同于认证的框架,而作者认为这一框架与 AIG‑NCII 实际所遭受的伤害是错位的。
实验
图表表明,真实性轴(合成 vs. 真实媒体)与安全轴是正交的,安全由是否征得同意决定。由于当前检测工具仅区分合成与真实内容,它们无法将有害的非自愿影像(无论 AI 生成还是传统)与安全的自愿影像从任一类中区分开来,导致测量的属性与实际风险之间形成根本性错位。安全取决于同意,而非图像是合成还是真实。有害的非自愿亲密影像既存在于合成(AIG-NCII)形式,也存在于真实(传统 NCII)形式。安全的自愿性影像同样既存在于合成(艺术性自我表达)形式,也存在于真实(经同意的色情内容)形式。基于真实性的检测将有害的 AIG-NCII 与安全的自愿合成媒体混为一谈,并存在过度审查合法表达的风险。
分析表明,基于真实性的检测工具与非自愿亲密影像的实际风险根本错位,因为安全取决于同意,而非内容是否为合成或真实;有害的非自愿影像和安全的自愿性影像均横跨合成与真实类别,导致这些工具将有害的 AI 生成非自愿影像与安全的自愿合成表达混同,并存在过度审查正当内容的风险。