Halbüberwachte Wortsinnentwicklung mit neuronalen Modellen

Die Bestimmung des beabsichtigten Sinns von Wörtern in einem Text – die Wortsinndiskriminierung (WSD) – ist ein langjähriges Problem der natürlichen Sprachverarbeitung. Kürzlich haben Forscher vielversprechende Ergebnisse erzielt, indem sie Wortvektoren aus einem neuronalen Netzwerk-Sprachmodell als Merkmale in WSD-Algorithmen verwendet. Ein einfacher Durchschnitt oder die Konkatenation von Wortvektoren für jedes Wort in einem Text führt jedoch zu einem Verlust der sequentiellen und syntaktischen Informationen des Textes. In dieser Arbeit untersuchen wir die WSD mit einem sequenzbasierten neuronalen Netz, dem LSTM, um die sequentiellen und syntaktischen Muster des Textes besser zu erfassen. Um den Mangel an Trainingsdaten bei der WSD aller Wörter zu mildern, verwenden wir das gleiche LSTM in einem semiaufsichtsführenden Label-Propagation-Klassifikator. Wir zeigen Stand-der-Technik-Ergebnisse, insbesondere bei Verben.