SenseBERT: Einige Bedeutung in BERT bringen

Die Fähigkeit, aus großen nicht annotierten Korpora zu lernen, hat es neuronalen Sprachmodellen ermöglicht, die Grenzen im Bereich der natürlichen Sprachverarbeitung weiter vorzuschieben. Bestehende Selbstüberwachungstechniken operieren jedoch auf der Ebene der Wortformen, die als Ersatz für den zugrunde liegenden semantischen Inhalt dienen. In dieser Arbeit wird eine Methode vorgeschlagen, um schwache Überwachung direkt auf der Ebene der Wortsinne anzuwenden. Unser Modell, SenseBERT genannt, wird prätrainiert, um nicht nur die maskierten Wörter zuvorzusagen, sondern auch ihre WordNet-Supersinne (WordNet supersenses). Dadurch erhalten wir ein lexikalisch-semantisches Sprachmodell ohne die Verwendung menschlicher Annotationen. SenseBERT erzielt eine erheblich verbesserte lexikale Verständigung, wie wir durch Experimente zur SemEval-Wortsinndiskambiguierung und durch das Erreichen eines Standes der Kunst im Kontext-Wort-Aufgabe (Word in Context task) zeigen.