Wort-Sinn-Entscheidung mit Transformer-Modellen

In diesem Artikel behandeln wir die Aufgabe der Wortsinndisambiguierung (Word Sense Disambiguation, WSD). Wir präsentieren unser System, das für die Challenge „Word-in-Context Target Sense Verification“ eingereicht wurde, die Teil des SemDeep-Workshops auf der IJCAI 2020 war (Breit et al., 2020). Diese Challenge verlangt von den Teilnehmenden, vorhergesagt zu werden, ob eine bestimmte Worterwähnung im Text einer vorgegebenen Bedeutung entspricht. Unser Ansatz nutzt vortrainierte Transformer-Modelle wie BERT, die anhand verschiedener Architekturstrategien auf die Aufgabe feinabgestimmt werden. Unser Modell erzielt die höchste Genauigkeit und Präzision bei Subtask 1 – die Verwendung von Definitionen, um zu entscheiden, ob der Zielwortbezug im Kontext der vorgegebenen Bedeutung entspricht oder nicht. Wir sind überzeugt, dass die in diesem Rahmen erprobten Strategien auch für andere Aufgaben im Bereich der natürlichen Sprachverarbeitung von Nutzen sein können.