추정적 확률 표현(Word of Estimative Probability, WEP)은 문장의 타당성(예: 가능하다, 아마도, 확률이 높다, 의심스럽다, 확률이 낮다, 불가능하다 등)을 나타내는 표현이다. 여러 설문 조사 결과에 따르면, 인간 평가자들이 WEP에 대해 수치적 확률 수준을 부여할 때 높은 일치도를 보인다. 예를 들어, Fagen-Ulmschneider(2015)의 설문 조사에서는 '매우 가능성 높다'라는 표현이 중앙값으로 약 0.90±0.08의 확률에 해당함을 보여주었다. 본 연구에서는 신경어휘처리 모델이 각 WEP에 대응하는 합의된 확률 수준을 얼마나 잘 포착하는지 평가한다. 첫째, Chen 등(2020)이 제시한 UNLI 데이터셋을 활용하여 전제(premise)와 가설(hypothesis)에 대해 인식된 공동 확률 p를 부여한 데이터를 기반으로 프롬프트를 구성한다. 예를 들어, “[전제]. [WEP], [가설].”과 같은 형식으로 구성한 프롬프트를 사용하여 언어 모델이 WEP에 대응하는 합의된 확률 수준이 실제 p에 가까운지 예측할 수 있는지를 평가한다. 둘째, WEP 기반의 확률적 추론을 위한 데이터셋을 구축하여 언어 모델이 WEP의 조합을 통해 추론할 수 있는지 검증한다. 예를 들어, “[사건A]는 가능하다. [사건B]는 불가능하다.”라는 프롬프트가 주어졌을 때, 인과적 언어 모델은 “[사건A&B]는 가능하다”고 표현해서는 안 된다. 본 연구에서는 기존의 오프더쇼elf 영어 언어 모델이 이 두 가지 과제를 해결하지 못함을 보이며, 미세조정(fine-tuning)을 통해 전이 가능한 성능 향상이 가능함을 입증한다.