Common Corpus 대규모 오픈 텍스트 데이터 세트

Common Corpus는 대규모 오픈 텍스트 데이터 세트이며, 관련 논문 결과는 다음과 같습니다.공통 코퍼스: LLM 사전 교육을 위한 가장 큰 규모의 윤리 데이터 컬렉션". 이 데이터세트는 지적 재산권 위험을 방지하기 위해 저작권이 없거나 허가된 라이선스를 받은 데이터만 포함합니다. 현재 가장 큰 규모의 오픈 라이선스 텍스트 데이터세트입니다.

이 데이터 세트에는 서적, 과학 문헌, 코드, 법률 문서 및 기타 분야를 아우르는 2조 개의 토큰이 포함되어 있습니다. 주요 언어는 영어와 프랑스어입니다. 또한 100억 개가 넘는 토큰을 보유한 8개 언어(독일어, 스페인어, 이탈리아어 등)와 10억 개가 넘는 토큰을 보유한 33개 언어도 포함되어 있습니다.

데이터 세트의 핵심 하위 집합:

• OpenCulture: 퍼블릭 도메인 도서, 신문(예: Wikisource, Project Gutenberg)을 비롯하여 OCR로 교정된 역사 문서 등이 포함됩니다.

• OpenGovernment: 법률 및 행정 문서(예: SEC 보고서, WTO 제출 문서, 유럽 의회 데이터).

• 오픈소스: GitHub의 고품질 코드, ArmoRM 도구로 검토한 상위 80% 고품질 제출물.

• OpenScience: 수식 및 차트와 같은 구조화된 정보를 보관하는 OpenAlex와 같은 학술 리소스입니다.

• OpenWeb: Wikipedia, YouTube Commons, Stack Exchange 등의 웹 텍스트

• OpenSemantic: 300개 이상의 언어를 지원하며, 위키데이터의 의미 삼중구조를 자연어로 변환합니다.