Sparsity macht Sinn: Wortbedeutungsdisambiguierung mithilfe sparser kontextualisierter Wortrepräsentationen
{G{\'a}bor Berend}

Abstract
In diesem Artikel zeigen wir, dass es mithilfe spärlicher Wortrepräsentationen möglich ist, die Ergebnisse komplexerer, auf spezifische Aufgaben zugeschnittener Modelle bei der feinkörnigen, all-words-Wortsinndisambiguierung zu überbieten. Unser vorgeschlagenes Verfahren beruht auf einer überbestimmten Menge semantischer Basisvektoren, die es uns ermöglicht, spärliche, kontextualisierte Wortrepräsentationen zu erzeugen. Wir führen eine auf der Informationstheorie basierende Synset-Repräsentation ein, die auf der Ko-Occurrenz von Wortbedeutungen und den von Null verschiedenen Koordinaten von Wortformen beruht. Mit dieser Methode erreichen wir eine aggregierte F-Score von 78,8 über eine Kombination von fünf Standard-Benchmark-Datensätzen für die Wortsinndisambiguierung. Außerdem zeigen wir die allgemeine Anwendbarkeit unseres vorgeschlagenen Frameworks, indem wir es an vier verschiedenen Treebanks für die Part-of-Speech-Kennzeichnung evaluieren. Unsere Ergebnisse deuten auf eine signifikante Verbesserung im Vergleich zur Anwendung dichter Wortrepräsentationen hin.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| word-sense-disambiguation-on-supervised | SparseLMMS+WNGC | SemEval 2007: 73.0 SemEval 2013: 79.4 SemEval 2015: 81.3 Senseval 2: 79.6 Senseval 3: 77.3 |
| word-sense-disambiguation-on-supervised | SparseLMMS | SemEval 2007: 68.8 SemEval 2013: 76.1 SemEval 2015: 77.5 Senseval 2: 77.9 Senseval 3: 77.8 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.