Extrahieren oder Raten? Verbesserung der Treue bei der Extraktion von Ereigniszeitbeziehungen

In dieser Arbeit streben wir danach, die Treue von TempRel-Extraktionsmodellen aus zwei Perspektiven zu verbessern. Die erste Perspektive besteht darin, tatsächlich auf kontextuelle Beschreibungen basierend zu extrahieren. Um dies zu erreichen, schlagen wir eine kontrafaktische Analyse vor, um die Auswirkungen zweier bedeutsamer Arten von Trainingsverzerrungen abzuschwächen: der Ereignis-Auslöser-Verzerrung und der häufigen Etikett-Verzerrung (frequent label bias). Wir fügen zudem Zeitinformationen in die Ereignisdarstellungen ein, um explizit den Fokus auf die kontextuelle Beschreibung zu legen. Die zweite Perspektive besteht darin, eine angemessene Unsicherheitsschätzung bereitzustellen und sich von der Extraktion zurückzuhalten, wenn im Text keine Beziehung beschrieben wird. Durch die Parametrisierung einer Dirichlet-Priori über die vom Modell vorhergesagte kategoriale Verteilung verbessern wir die Schätzungen des Modells bezüglich der Wahrscheinlichkeit der Richtigkeit und machen TempRel-Vorhersagen selektiver. Wir setzen auch Temperaturkalibrierung ein, um das Vertrauensmaß des Modells nach der Verzerrungsreduzierung neu zu kalibrieren. Durch experimentelle Analysen auf MATRES, MATRES-DS und TDDiscourse zeigen wir, dass unser Modell TempRel und Zeitleisten treuer extrahiert als state-of-the-art Methoden, insbesondere unter Verteilungsverschiebungen.