GlossBERT: BERT für die Wortsinnentwicklung mit Glossenwissen

Die Wortsinndisambiguierung (WSD) hat das Ziel, den genauen Sinn eines mehrdeutigen Wortes in einem bestimmten Kontext zu ermitteln. Traditionelle überwachte Methoden berücksichtigen selten lexikalische Ressourcen wie WordNet, die in wissensbasierten Methoden weit verbreitet sind. Neuere Studien haben gezeigt, dass die Einbeziehung von Glossen (Sinndefinitionen) in neuronale Netze für WSD effektiv ist. Im Vergleich zu traditionellen überwachten Expertenmethoden haben sie jedoch keine wesentlichen Verbesserungen erzielt. In dieser Arbeit konzentrieren wir uns darauf, wie man Glossenwissen besser in ein überwachtes neuronales WSD-System integrieren kann. Wir erstellen Kontext-Glosse-Paare und schlagen drei BERT-basierte Modelle für WSD vor. Wir feinjustieren das vortrainierte BERT-Modell am SemCor3.0 Trainingskorpus, und die experimentellen Ergebnisse auf mehreren englischen All-Words-WSD-Benchmark-Datensätzen zeigen, dass unser Ansatz den Stand der Technik übertreffen kann.