MeetingBank-LLMCompressed는 Microsoft가 2024년에 발표한 LLMLingua-2 압축기 훈련 데이터를 구축하기 위한 데이터셋으로, 관련 논문 성과는「LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression」이며, 효율적이고 원문에 충실한 작업 비의존형 프롬프트 압축 훈련 샘플을 제공하는 것을 목표로 합니다.

이 데이터셋은 MeetingBank 훈련 세트에서 가져온 5,169개의 샘플을 포함하며, 각 샘플에는 원본 회의록 텍스트와 GPT-4로 독립적으로 청크 압축된 버전이 포함되어 있으며, 데이터 규모는 약 246MB입니다.

데이터셋 구성

이 데이터셋에는 다음 6개 필드가 포함됩니다:

1. idx: 인스턴스의 인덱스 번호
2. prompt: 회의록의 원본 텍스트
3. prompt_list: prompt에 해당하는 원본 텍스트 청크 목록
4. compressed_prompt_list: 각 청크를 GPT-4로 독립적으로 압축한 텍스트 목록
5. compressed_prompt: 모든 압축 청크를 연결한 전체 압축 텍스트
6. summary: MeetingBank에서 가져온 회의록 요약

Citation

@inproceedings{pan2024llmlingua2,
    title={LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression},
    author={Zhuoshi Pan and Qianhui Wu and Huiqiang Jiang and Menglin Xia and Xufang Luo and Jue Zhang and Qingwei Lin and Victor Rühle and Yuqing Yang and Chin-Yew Lin and H. Vicky Zhao and Lili Qiu and Dongmei Zhang},
    year={2024},
    booktitle = {Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics},
    publisher = {Association for Computational Linguistics}
}