OpenWebMath는 인터넷의 대부분에서 수집된 고품질 수학 텍스트를 포함하는 데이터 세트입니다. 이는 Common Crawl에서 2000억 개가 넘는 HTML 파일에서 필터링 및 추출되어 총 147억 개의 토큰을 포함하는 630만 개의 문서 세트가 생성됩니다. OpenWebMath는 사전 학습 및미세 조정대규모 언어 모델.

소환

@misc{paster2023openwebmath, 제목={OpenWebMath: 고품질 수학 웹 텍스트의 공개 데이터 세트}, 작성자={Keiran Paster 및 Marco Dos Santos 및 Zhangir Azerbayev 및 Jimmy Ba}, 연도={2023}, eprint={2310.06786}, archivePrefix={arXiv}, primaryClass={cs.AI} }