摘要
词语型概率表达（Words of Estimative Probability, WEP）是指用于描述某一陈述可信度的表达方式，例如“可能”“也许”“很可能”“怀疑”“不太可能”“不可能”等。多项调查表明，人类评估者在为WEP赋予数值概率时具有高度一致性。例如，Fagen-Ulmschneider（2015）的调查结果显示，“极有可能”对应的中位概率为0.90±0.08。在本研究中，我们评估了神经语言处理模型捕捉每种WEP所对应共识概率水平的能力。首先，我们利用UNLI数据集（Chen等，2020），该数据集为前提（premise）与假设（hypothesis）分配了感知联合概率p，进而构造提示（prompt），例如：“[前提]。[WEP]，[假设]。”并检验语言模型是否能够判断该WEP所对应的共识概率是否接近p。其次，我们构建了一个基于WEP的 probabilistic reasoning（概率推理）数据集，用于测试语言模型在处理WEP复合表达时的推理能力。例如，当输入提示“[事件A]很可能。[事件B]不可能。”时，因果语言模型不应得出“[事件A与B同时发生]很可能”的结论。实验结果表明，当前现成的英文语言模型在上述两项任务上均未能取得理想表现，但通过微调（fine-tuning）可显著提升模型性能，并实现跨任务的可迁移改进。