LongAlign-10k는 청화대학교에서 장기 컨텍스트 정렬 작업에서 대규모 모델이 겪는 과제를 해결하기 위해 제안한 데이터 세트입니다. 여기에는 길이가 8k에서 64k 사이인 10,000개의 긴 명령어 데이터가 포함되어 있습니다.

데이터 세트를 구축하는 과정에서 먼저 책, 백과사전, 학술 논문, 코드 등 9개의 다양한 분야에서 자료를 추출한 다음, Claude 2.1 대규모 모델을 사용하여 긴 맥락에서 다양한 작업과 답변을 생성합니다. 이 데이터 세트는 긴 맥락에서 대형 모델의 성능과 10k-100k 길이의 작업 지침을 따르는 능력을 평가하도록 설계되었습니다.