HyperAIHyperAI

Command Palette

Search for a command to run...

WiC-TSV: Eine Evaluationsbenchmarks für die Zielbedeutungsverifizierung von Wörtern im Kontext

Anna Breit Artem Revenko Kiamehr Rezaee Mohammad Taher Pilehvar Jose Camacho-Collados

Zusammenfassung

Wir präsentieren WiC-TSV, einen neuen mehrdomänenbasierten Evaluationsbenchmark für die Wortbedeutungsdisambiguierung (Word Sense Disambiguation). Genauer gesagt führen wir einen Rahmenwerk für die Target Sense Verification von Wörtern im Kontext ein, dessen Besonderheit in der Formulierung als binäre Klassifikationsaufgabe liegt – wodurch das Verfahren unabhängig von externen Sinninventaren ist und eine breite Domänenabdeckung ermöglicht. Dadurch ist die Datensammlung äußerst flexibel für die Evaluation einer Vielzahl von Modellen und Systemen innerhalb und über verschiedene Domänen hinweg. WiC-TSV bietet drei unterschiedliche Evaluierungsszenarien, je nachdem, welche Eingabesignale dem Modell zur Verfügung gestellt werden. Wir etablieren Baseline-Leistungen auf der Datensammlung mithilfe modernster Sprachmodelle. Experimentelle Ergebnisse zeigen, dass diese Modelle zwar auf der Aufgabe anständig abschneiden, dennoch eine Lücke zwischen maschineller und menschlicher Leistung besteht, insbesondere in Out-of-Domain-Szenarien. Die WiC-TSV-Daten sind unter https://competitions.codalab.org/competitions/23683 verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp