Verbesserte Wort-Sinn-Entscheidung mithilfe vortrainierter kontextualisierter Wortrepräsentationen

Kontextualisierte Wortrepräsentationen sind in der Lage, für dasselbe Wort in unterschiedlichen Kontexten unterschiedliche Darstellungen zu liefern, und haben sich in nachgeschalteten Aufgaben des natürlichen Sprachverstehens – beispielsweise Fragenbeantwortung, Namensentitätserkennung und Sentimentanalyse – als wirksam erwiesen. Dennoch zeigt die Bewertung im Bereich der Wortsinndisambiguierung (WSD) in vorhergehenden Arbeiten, dass kontextualisierte Wortrepräsentationen die derzeit beste herkömmliche Methode, die nicht-kontextuelle Wort-Embeddings nutzt, nicht übertrifft. In diesem Artikel untersuchen wir verschiedene Strategien zur Integration vortrainierter kontextualisierter Wortrepräsentationen, wobei unsere beste Strategie auf mehreren Standard-WSD-Datensätzen Genauigkeiten erzielt, die die bisher besten veröffentlichten Ergebnisse signifikant übertreffen. Den Quellcode stellen wir unter https://github.com/nusnlp/contextemb-wsd zur Verfügung.