Untersuchung neuronaler Sprachmodelle hinsichtlich des Verständnisses von Wörtern schätzungsbasierter Wahrscheinlichkeit

Wörter der schätzenden Wahrscheinlichkeit (Words of Estimative Probability, WEP) sind Ausdrücke für die Plausibilität einer Aussage (z. B. „wahrscheinlich“, „vielleicht“, „wahrscheinlich“, „zweifelhaft“, „unwahrscheinlich“, „unmöglich“ usw.). Mehrere Umfragen zeigen, dass menschliche Beurteiler bei der Zuordnung numerischer Wahrscheinlichkeitsniveaus zu WEP eine hohe Übereinstimmung aufweisen. So entspricht beispielsweise „sehr wahrscheinlich“ in der Umfrage von Fagen-Ulmschneider (2015) einem Median-Wahrscheinlichkeitswert von 0,90 ± 0,08. In dieser Arbeit messen wir die Fähigkeit neuronalen Sprachverarbeitungsmodelle, die konsensuellen Wahrscheinlichkeitsniveaus, die jeweils mit einem WEP assoziiert sind, angemessen zu erfassen. Zunächst nutzen wir die UNLI-Datenbank (Chen et al., 2020), die Prämissen und Hypothesen mit ihrer jeweils wahrgenommenen gemeinsamen Wahrscheinlichkeit p verknüpft, um Prompt-Strukturen wie „[PRÄMISSE]. [WEP], [HYPOTHESE].“ zu konstruieren, und prüfen, ob Sprachmodelle vorhersagen können, ob das konsensuelle Wahrscheinlichkeitsniveau des WEP nahe bei p liegt. Zweitens erstellen wir eine Datensammlung für probabilistische Schlussfolgerungen basierend auf WEP, um zu testen, ob Sprachmodelle mit Kompositionen von WEP logisch schlussfolgern können. Wenn das Modell mit dem Prompt „[EREIGNIS A] ist wahrscheinlich. [EREIGNIS B] ist unmöglich.“ konfrontiert wird, sollte es nicht behaupten, dass [EREIGNIS A & B] wahrscheinlich ist. Wir zeigen, dass beide Aufgaben mit herkömmlichen englischen Sprachmodellen nicht gelöst sind, jedoch durch Fine-Tuning eine übertragbare Verbesserung erzielt werden kann.