2 个月前
CBLUE：中文生物医学语言理解评估基准
Ningyu Zhang; Mosha Chen; Zhen Bi; Xiaozhuan Liang; Lei Li; Xin Shang; Kangping Yin; Chuanqi Tan; Jian Xu; Fei Huang; Luo Si; Yuan Ni; Guotong Xie; Zhifang Sui; Baobao Chang; Hui Zong; Zheng Yuan; Linfeng Li; Jun Yan; Hongying Zan; Kunli Zhang; Buzhou Tang; Qingcai Chen
摘要
人工智能（AI）以及最近在生物医学语言理解方面的进展正在逐渐改变医疗实践。随着生物医学语言理解基准的发展，AI 应用在医疗领域的应用越来越广泛。然而，大多数基准仅限于英语，这使得许多在英语中取得的成功难以在其他语言中复制。为了促进这一方向的研究，我们收集了真实世界的生物医学数据，并提出了首个中文生物医学语言理解评估（CBLUE）基准：该基准包含命名实体识别、信息提取、临床诊断规范化、单句/句对分类等自然语言理解任务，以及一个用于模型评估、比较和分析的在线平台。为了建立这些任务的评估标准，我们报告了当前 11 种预训练中文模型的实证结果，实验结果显示最先进的神经模型远未达到人类水平。我们的基准已在天池阿里云平台发布，网址为 https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us。