TMMLU+는 대규모 전통 중국어 대규모 멀티태스크 언어 이해(Large scale traditional Chinese massive multitask language understanding)의 약자로, 중국어 대규모 멀티태스크 언어 이해 데이터 세트입니다.이는 초급부터 전문가 수준까지 총 66개 주제를 다루는 객관식 질의응답 데이터 세트입니다. TMMLU+ 데이터 세트는 이전 데이터 세트보다 훨씬 더 큽니다. 티엠엠루 6배 더 크고, 더 균형 잡힌 테마를 선보입니다.TMMLU+에는 폐쇄 소스 모델과 20개의 오픈 소스 중국어 대규모 언어 모델의 벤치마크 결과가 포함되어 있습니다.이러한 모델의 매개변수 범위는 1.8B에서 72B입니다. 기준 결과는 번체 중국어 변형이 간체 중국어 기본 모델로 훈련된 모델보다 여전히 뒤처진다는 것을 보여줍니다.

소환

@article{ikala2024개선됨, 제목={기초 모델을 위한 개선된 전통 중국어 평가 도구 모음} 작성자={Tam, Zhi-Rui 및 Pai, Ya-Ting 및 Lee, Yen-Wei 및 Cheng, Sega 및 Shuai, Hong-Han}, 저널={arXiv 사전 출판물 arXiv:2403.01858}, 연도={2024} }