WiC-TSV: Eine Evaluationsbenchmarks für die Zielbedeutungsverifizierung von Wörtern im Kontext

Wir präsentieren WiC-TSV, einen neuen mehrdomänenbasierten Evaluationsbenchmark für die Wortbedeutungsdisambiguierung (Word Sense Disambiguation). Genauer gesagt führen wir einen Rahmenwerk für die Target Sense Verification von Wörtern im Kontext ein, dessen Besonderheit in der Formulierung als binäre Klassifikationsaufgabe liegt – wodurch das Verfahren unabhängig von externen Sinninventaren ist und eine breite Domänenabdeckung ermöglicht. Dadurch ist die Datensammlung äußerst flexibel für die Evaluation einer Vielzahl von Modellen und Systemen innerhalb und über verschiedene Domänen hinweg. WiC-TSV bietet drei unterschiedliche Evaluierungsszenarien, je nachdem, welche Eingabesignale dem Modell zur Verfügung gestellt werden. Wir etablieren Baseline-Leistungen auf der Datensammlung mithilfe modernster Sprachmodelle. Experimentelle Ergebnisse zeigen, dass diese Modelle zwar auf der Aufgabe anständig abschneiden, dennoch eine Lücke zwischen maschineller und menschlicher Leistung besteht, insbesondere in Out-of-Domain-Szenarien. Die WiC-TSV-Daten sind unter https://competitions.codalab.org/competitions/23683 verfügbar.