HyperAIHyperAI

Command Palette

Search for a command to run...

Beyond Characters: Subword-level Morpheme Segmentation

Andre F. T. Martins Ben Peters

Zusammenfassung

Diese Arbeit präsentiert die Beiträge von DeepSPIN zur SIGMORPHON 2022 Shared Task zur Morphemsegmentierung. Wir reichen drei Beiträge ein, alle im Rahmen der Wort-Ebene-Unteraufgabe. Zunächst zeigen wir, dass entmax-basierte sparsame Sequenz-zu-Sequenz-Modelle deutliche Verbesserungen gegenüber herkömmlichen softmax-basierten Modellen liefern, was Ergebnisse aus anderen Aufgaben bestätigt. Anschließend stellen wir die Annahme in Frage, dass Modelle für morphologische Aufgaben auf Zeichenebene trainiert werden sollten, indem wir einen Transformer entwickeln, der Morpheme als Folgen von Subwörtern generiert, die durch ein Einzelwort- (unigram) Sprachmodell induziert wurden. Dieser Subword-Transformer übertrifft alle unsere auf Zeichenebene trainierten Modelle und gewinnt die Wort-Ebene-Unteraufgabe. Obwohl wir keinen offiziellen Beitrag zur Satz-Ebene-Unteraufgabe einreichen, zeigen wir, dass auch dieser auf Subwörtern basierende Ansatz dort äußerst wirksam ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp