LLMail-Inject: Adaptive Prompt Injection Challenge 是由 Microsoft 于 2025 年发布的一个大语言模型安全评测数据集，旨在研究和评估集成 LLM 的电子邮件客户端在面对自适应提示注入攻击时的防御能力。

该数据集收集了 LLMail-Inject 自适应提示注入挑战中的攻击提交，涵盖邮件摘要和数据外泄等任务，并结合不同的检索环境、LLM 模型和防御机制构建多个挑战级别。数据主要包含攻击邮件的主题与正文，以及检索、检测和工具调用等执行反馈，可用于提示注入攻击研究、LLM 安全评测和防御机制分析。

数据集组成

数据集主要包含两个阶段的攻击提交：

• Phase1：第一阶段挑战数据，存储于 data/raw_submissions_phase1.jsonl。
• Phase2：第二阶段挑战数据，存储于 data/raw_submissions_phase2.jsonl。

每个提交主要包含以下信息：

• Subject：攻击邮件主题。
• Body：攻击邮件正文。
• Level：挑战级别，由具体场景、防御机制和 LLM 模型组合确定。
• Retrieval status：检索状态。
• Detection status：提示注入检测状态。
• Tool invocation status：工具调用状态。

Citation

@article{abdelnabi2025,
  title     = {LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge},
  author    = {Sahar Abdelnabi and Aideen Fay and Ahmed Salem and Egor Zverev and Chi-Huang Liu and Chun-Chih Kuo and Jannis Weigend and Danyael Manlangit and Alex Apostolov and Haris Umair and João Donato and Masayuki Kawakita and Athar Mahboob and Tran Huu Bach and Tsun-Han Chiang and Myeongjin Cho and Hajin Choi and Byeonghyeon Kim and Hyeonjin Lee and Benjamin Pannell and Conor Mac Amhlaoibh and Mark Russinovich and Andrew Paverd and Giovanni Cherubin},
  year      = {2025},
  journal   = {Under submission},
  note      = {Challenge dataset and results from the LLMail-Inject Adaptive Prompt Injection Challenge. Available at \url{https://github.com/microsoft/llmail-inject-challenge-analysis}},
}