Bespoke Stratos 17k 추론 작업 데이터 세트

*이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

Bespoke-Stratos-17k는 Bespoke Labs 팀이 2025년에 개발한 추론 작업을 위해 설계된 고품질 데이터 세트입니다. 관련 블로그는 "Bespoke-Stratos: 추론 증류의 비합리적인 효과이 데이터 세트는 버클리의 Sky-T1 데이터 파이프라인을 개선하고 DeepSeek-R1에서 추출한 데이터를 사용하여 생성되었으며, 고성능 추론 모델 학습을 지원하도록 설계되었습니다. 이 데이터 세트에는 코드, 수학, 과학 퍼즐 등 다양한 영역을 포괄하는 질문, 추론 추적, 답변이 포함되어 있습니다. Bespoke Curator 도구를 사용하면 약 800달러의 비용으로 단 1.5시간 만에 고품질 추론 데이터 세트를 생성할 수 있습니다. 이 데이터 세트는 DeepSeek-R1을 교사 추론 모델로 사용하여 추가적인 서식 지정 없이 데이터 생성 프로세스를 간소화합니다. 또한, gpt-4o-mini를 통해 잘못된 수학 해를 필터링한 결과, 25%에서 73%로 올바른 수학 해의 유지율이 크게 향상되었습니다.

데이터 세트는 3개 부분으로 구성되어 있습니다. 프로그래밍 데이터(APP 및 TACO에서 가져온 5,000개 데이터), 수학 데이터(NuminaMATH 데이터 세트의 AIME, MATH 및 Olympiads 하위 집합에서 가져온 10,000개 데이터), 과학 및 퍼즐 데이터(STILL-2에서 가져온 1,000개 데이터)입니다. 이 데이터는 Bespoke-Stratos-32B와 Bespoke-Stratos-7B라는 두 가지 추론 모델을 훈련하는 데 사용되었으며, 이는 수학 및 코드 추론 벤치마크에서 좋은 성과를 보이며 이전 모델보다 우수한 성능을 보였습니다.