MeetingBank-LLMCompressed ist ein von Microsoft im Jahr 2024 veröffentlichtes Datenset zur Erstellung von Trainingsdaten für den LLMLingua-2-Kompressor. Die zugehörige Forschungsarbeit ist „LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression", die darauf abzielt, effiziente und dem Original treue, aufgabenunabhängige Trainingsbeispiele für die Prompt-Kompression bereitzustellen.

Das Datenset enthält 5.169 Stichproben aus dem MeetingBank-Trainingsset, wobei jede Stichprobe den ursprünglichen Sitzungsprotokolltext sowie dessen unabhängig von GPT-4 in Blöcken komprimierte Version umfasst. Die Datengröße beträgt etwa 246 MB.

Zusammensetzung des Datensets

Das Datenset enthält die folgenden 6 Felder:

1. idx: Indexnummer der Instanz
2. prompt: Originaltext des Sitzungsprotokolls
3. prompt_list: Liste der Textblöcke des ursprünglichen Texts, die dem prompt entsprechen
4. compressed_prompt_list: Liste der Texte, die nach der unabhängigen Komprimierung jedes Blocks durch GPT-4 entstehen
5. compressed_prompt: Vollständiger komprimierter Text, der durch die Verkettung aller komprimierten Blöcke entsteht
6. summary: Zusammenfassung des Sitzungsprotokolls aus MeetingBank

Citation

@inproceedings{pan2024llmlingua2,
    title={LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression},
    author={Zhuoshi Pan and Qianhui Wu and Huiqiang Jiang and Menglin Xia and Xufang Luo and Jue Zhang and Qingwei Lin and Victor Rühle and Yuqing Yang and Chin-Yew Lin and H. Vicky Zhao and Lili Qiu and Dongmei Zhang},
    year={2024},
    booktitle = {Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics},
    publisher = {Association for Computational Linguistics}
}