LLMail-Inject: Adaptive Prompt Injection Challenge は、Microsoft が2025年に公開した大規模言語モデルセキュリティ評価データセットであり、LLMを統合した電子メールクライアントが適応型プロンプトインジェクション攻撃に対する防御能力を研究・評価することを目的としています。

このデータセットは、LLMail-Inject 適応型プロンプトインジェクションチャレンジにおける攻撃提出物を収集しており、メール要約やデータ漏洩などのタスクを網羅し、異なる検索環境、LLMモデル、防御メカニズムを組み合わせて複数のチャレンジレベルを構築しています。データには主に攻撃メールの件名と本文、および検索、検出、ツール呼び出しなどの実行フィードバックが含まれており、プロンプトインジェクション攻撃の研究、LLMセキュリティ評価、防御メカニズムの分析に使用できます。

データセット構成

データセットには主に2つの段階の攻撃提出物が含まれています：

• Phase1：第1段階のチャレンジデータで、data/raw_submissions_phase1.jsonl に格納されています。
• Phase2：第2段階のチャレンジデータで、data/raw_submissions_phase2.jsonl に格納されています。

各提出物には主に以下の情報が含まれています：

• Subject：攻撃メールの件名。
• Body：攻撃メールの本文。
• Level：チャレンジレベル。具体的なシナリオ、防御メカニズム、LLMモデルの組み合わせによって決定されます。
• Retrieval status：検索ステータス。
• Detection status：プロンプトインジェクション検出ステータス。
• Tool invocation status：ツール呼び出しステータス。

引用

@article{abdelnabi2025,
  title     = {LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge},
  author    = {Sahar Abdelnabi and Aideen Fay and Ahmed Salem and Egor Zverev and Chi-Huang Liu and Chun-Chih Kuo and Jannis Weigend and Danyael Manlangit and Alex Apostolov and Haris Umair and João Donato and Masayuki Kawakita and Athar Mahboob and Tran Huu Bach and Tsun-Han Chiang and Myeongjin Cho and Hajin Choi and Byeonghyeon Kim and Hyeonjin Lee and Benjamin Pannell and Conor Mac Amhlaoibh and Mark Russinovich and Andrew Paverd and Giovanni Cherubin},
  year      = {2025},
  journal   = {Under submission},
  note      = {Challenge dataset and results from the LLMail-Inject Adaptive Prompt Injection Challenge. Available at \url{https://github.com/microsoft/llmail-inject-challenge-analysis}},
}