LLMail-Inject: Adaptive Prompt Injection Challenge는 Microsoft가 2025년에 발표한 대규모 언어 모델 보안 평가 데이터 세트로, LLM이 통합된 이메일 클라이언트가 적응형 프롬프트 주입 공격에 직면했을 때의 방어 능력을 연구하고 평가하는 것을 목표로 합니다.

이 데이터 세트는 LLMail-Inject 적응형 프롬프트 주입 챌린지의 공격 제출물을 수집하며, 이메일 요약 및 데이터 유출과 같은 작업을 포함하고, 다양한 검색 환경, LLM 모델 및 방어 메커니즘을 결합하여 여러 챌린지 레벨을 구성합니다. 데이터는 주로 공격 이메일의 제목과 본문, 그리고 검색, 감지 및 도구 호출과 같은 실행 피드백을 포함하며, 프롬프트 주입 공격 연구, LLM 보안 평가 및 방어 메커니즘 분석에 사용될 수 있습니다.

데이터 세트 구성

데이터 세트는 주로 두 단계의 공격 제출물을 포함합니다:

• Phase1: 1단계 챌린지 데이터로, data/raw_submissions_phase1.jsonl에 저장됩니다.
• Phase2: 2단계 챌린지 데이터로, data/raw_submissions_phase2.jsonl에 저장됩니다.

각 제출물은 주로 다음 정보를 포함합니다:

• Subject: 공격 이메일 제목.
• Body: 공격 이메일 본문.
• Level: 챌린지 레벨로, 구체적인 시나리오, 방어 메커니즘 및 LLM 모델 조합에 따라 결정됩니다.
• Retrieval status: 검색 상태.
• Detection status: 프롬프트 주입 감지 상태.
• Tool invocation status: 도구 호출 상태.

Citation

@article{abdelnabi2025,
  title     = {LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge},
  author    = {Sahar Abdelnabi and Aideen Fay and Ahmed Salem and Egor Zverev and Chi-Huang Liu and Chun-Chih Kuo and Jannis Weigend and Danyael Manlangit and Alex Apostolov and Haris Umair and João Donato and Masayuki Kawakita and Athar Mahboob and Tran Huu Bach and Tsun-Han Chiang and Myeongjin Cho and Hajin Choi and Byeonghyeon Kim and Hyeonjin Lee and Benjamin Pannell and Conor Mac Amhlaoibh and Mark Russinovich and Andrew Paverd and Giovanni Cherubin},
  year      = {2025},
  journal   = {Under submission},
  note      = {Challenge dataset and results from the LLMail-Inject Adaptive Prompt Injection Challenge. Available at \url{https://github.com/microsoft/llmail-inject-challenge-analysis}},
}