Geschlechtsspezifische Pronominalauflösung unter Verwendung von BERT und einer extraktiven Fragebeantwortungsformulierung

Die Auflösung von mehrdeutigen Pronomen ist eine langjährige Herausforderung im Bereich der natürlichsprachlichen Verarbeitung (Natural Language Understanding). Neueste Studien haben darauf hingewiesen, dass es bei den fortschrittlichsten Systemen zur Coreference-Auflösung zu Geschlechtsverzerrungen kommt. Zum Beispiel veröffentlichte das Google AI Language-Team kürzlich einen geschlechtsbalancierten Datensatz und zeigte, dass die Leistung dieser Coreference-Auflöser auf dem Datensatz erheblich eingeschränkt ist. In dieser Arbeit schlagen wir eine extraktive Fragebeantwortungsformulierung (extractive question answering, QA) für die Aufgabe der Pronominauflösung vor, die diese Einschränkung überwindet und einen viel geringeren Geschlechtsverzerrungswert (0,99) auf ihrem Datensatz aufweist. Dieses System nutzt feintuningierte Repräsentationen aus dem vortrainierten BERT-Modell und erreicht eine signifikante Verbesserung gegenüber den bestehenden Baselines (absolute Steigerung des F1-Scores um 22,2 %), ohne manuell gestaltete Merkmale zu verwenden. Dieser QA-Rahmen funktioniert auch gleich gut, selbst wenn keine Kenntnis der potentiellen Vorgänger des Pronomens vorhanden ist. Eine Kombination aus QA-Modellen und BERT-basierten Mehrfachauswahl- und Sequenzklassifikationsmodellen verbessert den F1-Score weiter (absolute Steigerung um 23,3 % gegenüber der Baseline). Dieses Ensemble-Modell wurde für die gemeinsame Aufgabe beim 1. ACL-Workshop zu Geschlechtsverzerrungen in der natürlichsprachlichen Verarbeitung eingereicht. Es belegte den 9. Platz in der endgültigen offiziellen Rangliste. Der Quellcode ist unter https://github.com/rakeshchada/corefqa verfügbar.