**TMMLU+는 대규모 전통 중국어 대규모 멀티태스크 언어 이해(Large scale traditional Chinese massive multitask language understanding)의 약자로, 중국어 대규모 멀티태스크 언어 이해 데이터 세트입니다.**이는 초급부터 전문가 수준까지 총 66개 주제를 다루는 객관식 질의응답 데이터 세트입니다. TMMLU+ 데이터 세트는 이전 데이터 세트보다 훨씬 더 큽니다. 티엠엠루 6배 더 크고, 더 균형 잡힌 테마를 선보입니다.**TMMLU+에는 폐쇄 소스 모델과 20개의 오픈 소스 중국어 대규모 언어 모델의 벤치마크 결과가 포함되어 있습니다.**이러한 모델의 매개변수 범위는 1.8B에서 72B입니다. 기준 결과는 번체 중국어 변형이 간체 중국어 기본 모델로 훈련된 모델보다 여전히 뒤처진다는 것을 보여줍니다.

소환

@article{ikala2024개선됨, 제목={기초 모델을 위한 개선된 전통 중국어 평가 도구 모음} 작성자={Tam, Zhi-Rui 및 Pai, Ya-Ting 및 Lee, Yen-Wei 및 Cheng, Sega 및 Shuai, Hong-Han}, 저널={arXiv 사전 출판물 arXiv:2403.01858}, 연도={2024} }