2달 전
CBLUE: 중국 바이오의학 언어 이해 평가 벤치마크
Ningyu Zhang; Mosha Chen; Zhen Bi; Xiaozhuan Liang; Lei Li; Xin Shang; Kangping Yin; Chuanqi Tan; Jian Xu; Fei Huang; Luo Si; Yuan Ni; Guotong Xie; Zhifang Sui; Baobao Chang; Hui Zong; Zheng Yuan; Linfeng Li; Jun Yan; Hongying Zan; Kunli Zhang; Buzhou Tang; Qingcai Chen
초록
인공지능(AI)과 최근의 생물의학적 언어 이해 분야의 발전은 점차 의료 실천을 변화시키고 있습니다. 생물의학적 언어 이해 벤치마크의 개발로 인해 AI 응용 프로그램이 의료 분야에서 널리 사용되고 있지만, 대부분의 벤치마크는 영어에 한정되어 있어 영어에서 달성한 성공을 다른 언어로 재현하는 것이 어려워졌습니다. 이러한 방향의 연구를 촉진하기 위해, 우리는 실제 세계의 생물의학 데이터를 수집하여 첫 번째 중국어 생물의학적 언어 이해 평가(CBLUE) 벤치마크를 제시합니다. 이 벤치마크는 명명된 엔티티 인식, 정보 추출, 임상 진단 표준화, 단일 문장/문장 쌍 분류 등을 포함하는 자연어 이해 작업과 모델 평가, 비교, 분석을 위한 연관 온라인 플랫폼으로 구성됩니다. 이러한 작업들에 대한 평가를 확립하기 위해, 현재 11개의 사전 학습된 중국어 모델에 대한 경험적 결과를 보고하며, 실험 결과는 최신 신경망 모델이 인간 수준보다 훨씬 열악한 성능을 보임을 나타냅니다. 우리의 벤치마크는 \url{https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us}에서 공개되었습니다.