기관 도서 1.0 도서 데이터 세트

Institutional Books 1.0은 하버드 대학교에서 2025년에 출판할 예정인 퍼블릭 도메인 도서 모음입니다. 관련 논문은 다음과 같습니다.기관 도서 1.0: 하버드 도서관 컬렉션의 242B 토큰 데이터 세트로 정확성과 사용성을 위해 개선됨".

이 데이터 세트는 주로 19세기와 20세기에 출판된 254개 언어로 된 퍼블릭 도메인 도서 983,004권으로 구성되어 있습니다. 이 데이터 세트는 2,420억 개의 토큰과 3억 8,600만 페이지의 텍스트를 포함하고 있으며, 원본 및 후처리된 OCR 내보내기 형식으로 제공됩니다.