Die Verbesserung von neuronalen Sprachmodellen durch Segmentierung, Aufmerksamkeit und die Vorhersage der Zukunft

Gängige Sprachmodelle prognostizieren in der Regel das nächste Wort unter Berücksichtigung des Kontexts. In dieser Arbeit schlagen wir eine Methode vor, die die Sprachmodellierung durch das Lernen der Ausrichtung des gegebenen Kontexts und des folgenden Phrasensatzes verbessert. Das Modell erfordert keine linguistische Annotation von Phrasensegmentierungen. Stattdessen definieren wir syntaktische Höhen und Phrasensegmentierungsregeln, wodurch das Modell in der Lage ist, Phrasen automatisch zu induzieren, ihre taskspezifischen Hauptwörter zu erkennen und Phrasen-Embeddings in einem unüberwachten Lernprozess zu generieren. Unsere Methode kann leicht auf Sprachmodelle mit unterschiedlichen Netzwerkarchitekturen angewendet werden, da ein eigenständiges Modul für die Phraseinduktion und die Kontext-Phraseausrichtung verwendet wird und keine Änderungen im zugrundeliegenden Sprachmodellungsnetzwerk erforderlich sind. Experimente haben gezeigt, dass unser Modell mehrere starke Baselinemodelle auf verschiedenen Datensätzen übertroffen hat. Wir erreichten eine neue Standarte von 17,4 Perplexität auf dem Wikitext-103-Datensatz. Zudem zeigte die Visualisierung der Ausgaben des Phraseinduktionmoduls, dass unser Modell in der Lage ist, approximative phrasenhafte strukturelles Wissen ohne jegliche Annotation zu lernen.请注意，为了符合德语的表达习惯，我在某些地方进行了适当的调整，例如“taskspezifischen Hauptwörter”（task-specific heads）和“phrasenhafte strukturelles Wissen”（phrase-level structural knowledge）。此外，“unüberwachten Lernprozess”（unsupervised learning manner）也是为了使句子更加流畅而进行的调整。希望这些改动能够帮助德语读者更好地理解文章的内容。