Sondering des modèles de langage neuronaux pour comprendre les mots de probabilité estimative

Les expressions de probabilité estimative (WEP, Words of Estimative Probability) sont des formulations qui expriment la plausibilité d'une affirmation (par exemple : probablement, peut-être, probable, douteux, fort probable, peu probable, impossible, etc.). Plusieurs études par sondage ont démontré un haut degré d'accord parmi les évaluateurs humains lorsqu'ils attribuent des niveaux numériques de probabilité aux WEP. Par exemple, l'expression « très probable » correspond à une probabilité médiane de 0,90 ± 0,08 selon l’enquête de Fagen-Ulmschneider (2015). Dans ce travail, nous mesurons la capacité des modèles de traitement du langage neuronal à capturer les niveaux de probabilité consensuels associés à chaque WEP. Tout d’abord, nous utilisons le jeu de données UNLI (Chen et al., 2020), qui associe des prémices et des hypothèses à leur probabilité conjointe perçue p, afin de construire des prompts tels que « [PRÉMISSE]. [WEP], [HYPOTHÈSE]. », et évaluons si les modèles de langage peuvent prédire si le niveau de probabilité consensuel du WEP est proche de p. Ensuite, nous construisons un jeu de données basé sur le raisonnement probabiliste à partir de WEP, afin de tester la capacité des modèles de langage à raisonner avec des compositions de WEP. Lorsqu’ils sont sollicités par la phrase « [ÉVÉNEMENTA] est probable. [ÉVÉNEMENTB] est impossible. », un modèle de langage causale ne devrait pas conclure que [ÉVÉNEMENTA & B] est probable. Nous montrons que ces deux tâches restent non résolues par les modèles de langage anglais disponibles « out-of-the-box », mais que la fine-tuning permet d’obtenir des améliorations transférables.