LLMail-Inject : Le défi d'injection de prompts adaptatifs est un ensemble de données d'évaluation de la sécurité des grands modèles de langage publié par Microsoft en 2025, conçu pour étudier et évaluer les capacités de défense des clients de messagerie intégrant des LLM face aux attaques par injection de prompts adaptatifs.

Cet ensemble de données rassemble les soumissions d'attaques du défi d'injection de prompts adaptatifs LLMail-Inject, couvrant des tâches telles que le résumé de courriels et l'exfiltration de données, et combine différents environnements de récupération, modèles LLM et mécanismes de défense pour construire plusieurs niveaux de défi. Les données contiennent principalement les sujets et les corps des courriels d'attaque, ainsi que des retours d'exécution tels que la récupération, la détection et l'invocation d'outils, et peuvent être utilisées pour la recherche sur les attaques par injection de prompts, l'évaluation de la sécurité des LLM et l'analyse des mécanismes de défense.

Composition de l'ensemble de données

L'ensemble de données contient principalement des soumissions d'attaques en deux phases :

• Phase1 : Données du défi de la première phase, stockées dans data/raw_submissions_phase1.jsonl.
• Phase2 : Données du défi de la deuxième phase, stockées dans data/raw_submissions_phase2.jsonl.

Chaque soumission contient principalement les informations suivantes :

• Subject : Sujet du courriel d'attaque.
• Body : Corps du courriel d'attaque.
• Level : Niveau du défi, déterminé par la combinaison du scénario spécifique, des mécanismes de défense et du modèle LLM.
• Retrieval status : Statut de récupération.
• Detection status : Statut de détection de l'injection de prompts.
• Tool invocation status : Statut de l'invocation d'outils.

Citation

@article{abdelnabi2025,
  title     = {LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge},
  author    = {Sahar Abdelnabi and Aideen Fay and Ahmed Salem and Egor Zverev and Chi-Huang Liu and Chun-Chih Kuo and Jannis Weigend and Danyael Manlangit and Alex Apostolov and Haris Umair and João Donato and Masayuki Kawakita and Athar Mahboob and Tran Huu Bach and Tsun-Han Chiang and Myeongjin Cho and Hajin Choi and Byeonghyeon Kim and Hyeonjin Lee and Benjamin Pannell and Conor Mac Amhlaoibh and Mark Russinovich and Andrew Paverd and Giovanni Cherubin},
  year      = {2025},
  journal   = {Under submission},
  note      = {Challenge dataset and results from the LLMail-Inject Adaptive Prompt Injection Challenge. Available at \url{https://github.com/microsoft/llmail-inject-challenge-analysis}},
}