HyperAI
Command Palette
Search for a command to run...
Jabarti-LLM 아랍어-영어 이중 언어 사전 학습 말뭉치 데이터셋
Jabarti-LLM 아랍어-영어 이중언어 사전 학습 데이터셋
데이터셋 개요
Jabarti LLM Dataset은 bakrianoo가 공개한 이중언어 대규모 언어 모델 학습 데이터셋으로, 아랍어와 영어 소규모 언어 모델의 사전 학습, 도메인 적응 및 지도 미세 조정을 위한 코퍼스 지원을 목적으로 합니다.
이 데이터셋은 선별된 이집트 역사 코퍼스와 다국어 위키백과에서 수집한 일반 지식 텍스트를 결합하여, 정제, 분할 및 출처 정리를 거쳤으며 아랍어와 영어의 일반적인 언어 범위와 이집트 역사 도메인 지식을 모두 포괄합니다. 데이터셋은 사전 학습용 텍스트 코퍼스와 질의응답 미세 조정 데이터를 모두 제공하여, 이중언어 언어 모델링, 지식 학습 및 질의응답 능력 학습에 활용할 수 있습니다.
데이터셋 구성
- 사전 학습 코퍼스: 아랍어와 영어의 연속적인 텍스트 세그먼트를 포함하며, 각 레코드의 길이는 약 120자에서 1,500자 사이이고, 기사 제목 및 섹션 제목은 제거되었습니다.
- 이집트 역사 코퍼스: 선별된 이집트 역사 관련 콘텐츠를 수록하며, egypt_relevance 등의 필드를 활용하여 역사 주제 데이터를 필터링할 수 있습니다.
- 위키백과 코퍼스: CohereLabs/wikipedia-2023-11-embed-multilingual-v3에서 수집한 아랍어와 영어의 일반 지식 텍스트를 통합했습니다.
- 질의응답 미세 조정 데이터: 아랍어와 영어의 질의응답 샘플을 제공하며, 질문, 답변, 언어, 질문 유형 및 난이도 등의 정보를 포함하여 지도 미세 조정을 지원합니다.
- 데이터 출처 및 품질 필드: ds_source, language, content_quality, topic_domain 등의 필드를 통해 출처, 언어, 콘텐츠 품질 및 주제 영역을 기록하여 데이터 필터링 및 샘플링을 용이하게 합니다.
- 데이터 분할: 사전 학습 및 미세 조정 구성과 함께 훈련 세트, 평가 세트 및 이전 프로세스 호환을 위한 단계별 분할을 제공하여 다양한 학습 단계에서의 사용을 지원합니다.
이 데이터셋은 커뮤니티 사용자가 기여한 것이며 교육 및 정보 제공 목적으로만 사용됩니다. 저작권 침해와 관련된 콘텐츠가 있는 경우 [email protected]로 문의하시면 신속하게 검토 및 삭제 처리하겠습니다.