Beyond Characters: Subword-level Morpheme Segmentation

Diese Arbeit präsentiert die Beiträge von DeepSPIN zur SIGMORPHON 2022 Shared Task zur Morphemsegmentierung. Wir reichen drei Beiträge ein, alle im Rahmen der Wort-Ebene-Unteraufgabe. Zunächst zeigen wir, dass entmax-basierte sparsame Sequenz-zu-Sequenz-Modelle deutliche Verbesserungen gegenüber herkömmlichen softmax-basierten Modellen liefern, was Ergebnisse aus anderen Aufgaben bestätigt. Anschließend stellen wir die Annahme in Frage, dass Modelle für morphologische Aufgaben auf Zeichenebene trainiert werden sollten, indem wir einen Transformer entwickeln, der Morpheme als Folgen von Subwörtern generiert, die durch ein Einzelwort- (unigram) Sprachmodell induziert wurden. Dieser Subword-Transformer übertrifft alle unsere auf Zeichenebene trainierten Modelle und gewinnt die Wort-Ebene-Unteraufgabe. Obwohl wir keinen offiziellen Beitrag zur Satz-Ebene-Unteraufgabe einreichen, zeigen wir, dass auch dieser auf Subwörtern basierende Ansatz dort äußerst wirksam ist.