LLMail-Inject: Adaptive Prompt Injection Challenge ist ein von Microsoft im Jahr 2025 veröffentlichtes Sicherheitsbewertungs-Dataset für große Sprachmodelle, das darauf abzielt, die Verteidigungsfähigkeiten von E-Mail-Clients mit integrierten LLMs gegen adaptive Prompt-Injection-Angriffe zu untersuchen und zu bewerten.

Das Dataset sammelt die Angriffseinreichungen aus der LLMail-Inject Adaptive Prompt Injection Challenge und umfasst Aufgaben wie E-Mail-Zusammenfassung und Datenextraktion. Es kombiniert verschiedene Retrieval-Umgebungen, LLM-Modelle und Verteidigungsmechanismen, um mehrere Herausforderungsstufen zu konstruieren. Die Daten enthalten hauptsächlich Betreff und Inhalt der Angriffs-E-Mails sowie Ausführungs-Feedback zu Retrieval, Erkennung und Tool-Aufrufen und können für die Forschung zu Prompt-Injection-Angriffen, die Sicherheitsbewertung von LLMs und die Analyse von Verteidigungsmechanismen verwendet werden.

Zusammensetzung des Datasets

Das Dataset enthält hauptsächlich Angriffseinreichungen aus zwei Phasen:

• Phase1: Herausforderungsdaten der ersten Phase, gespeichert in data/raw_submissions_phase1.jsonl.
• Phase2: Herausforderungsdaten der zweiten Phase, gespeichert in data/raw_submissions_phase2.jsonl.

Jede Einreichung enthält hauptsächlich die folgenden Informationen:

• Subject: Betreff der Angriffs-E-Mail.
• Body: Inhalt der Angriffs-E-Mail.
• Level: Herausforderungsstufe, bestimmt durch die Kombination aus spezifischem Szenario, Verteidigungsmechanismus und LLM-Modell.
• Retrieval status: Retrieval-Status.
• Detection status: Status der Prompt-Injection-Erkennung.
• Tool invocation status: Status des Tool-Aufrufs.

Zitierung

@article{abdelnabi2025,
  title     = {LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge},
  author    = {Sahar Abdelnabi and Aideen Fay and Ahmed Salem and Egor Zverev and Chi-Huang Liu and Chun-Chih Kuo and Jannis Weigend and Danyael Manlangit and Alex Apostolov and Haris Umair and João Donato and Masayuki Kawakita and Athar Mahboob and Tran Huu Bach and Tsun-Han Chiang and Myeongjin Cho and Hajin Choi and Byeonghyeon Kim and Hyeonjin Lee and Benjamin Pannell and Conor Mac Amhlaoibh and Mark Russinovich and Andrew Paverd and Giovanni Cherubin},
  year      = {2025},
  journal   = {Under submission},
  note      = {Challenge dataset and results from the LLMail-Inject Adaptive Prompt Injection Challenge. Available at \url{https://github.com/microsoft/llmail-inject-challenge-analysis}},
}