LongCite-45k 대규모 모델 세분화 개선 데이터 세트

LongCite-45k는 칭화대학교에서 2024년에 출시한 오픈소스 데이터 세트입니다. 이 데이터 세트의 목표는 장문 텍스트 질의응답 과제에서 대규모 언어 모델(LLM)의 신뢰성과 검증 가능성을 개선하는 것입니다. 관련 논문 결과는 다음과 같습니다.LongCite: LLM이 장문 컨텍스트 QA에서 세분화된 인용을 생성할 수 있도록 지원".

이 데이터 세트에는 문장 단위 인용이 포함된 44,600개의 고품질 질의응답 데이터가 포함되어 있으며, 최대 128k 토큰 길이의 긴 텍스트 처리를 지원하고, 사용자가 세분화된 문장 단위 인용을 생성하여 모델의 답변의 정확성을 검증할 수 있도록 합니다.