要約
推定確率表現（Words of Estimative Probability, WEP）とは、「おそらく」「たぶん」「ありえる」「疑わしい」「あり得ない」など、文の妥当性や可能性を表す表現を指す。複数の調査により、人間の評価者がWEPに対して数値的確率値を割り当てる際に高い一致が得られていることが示されている。例えば、Fagen-Ulmschneider（2015）の調査では、「非常にありえる（highly likely）」という表現は中央値で0.90±0.08の確率に対応していると報告されている。本研究では、ニューラル言語処理モデルが各WEPに付随する共通の確率水準をいかに捉えられるかを測定する。まず、前提（PREMISE）と仮説（HYPOTHESIS）の組み合わせに対して、その認識される同時確率pを付与したUNLIデータセット（Chenら、2020）を用い、[PREMISE]。[WEP]、[HYPOTHESIS]。といったプロンプトを構築し、言語モデルがWEPの共通確率水準がpに近いかどうかを予測できるかを評価する。次に、WEPに基づく確率的推論をテストするためのデータセットを構築した。たとえば、「[イベントA]はおそらくである。[イベントB]は不可能である。」というプロンプトに対して、因果的言語モデルは「[イベントAかつB]はおそらくである」というような主張をすべきではない。本研究では、既存の英語言語モデルではこれらのタスクが未解決であることを示したが、ファインチューニングにより、汎用的な性能向上が可能であることを明らかにした。