Sprachmodelle für Texte mit benannten Entitäten erstellen

Texte in vielen Bereichen enthalten eine erhebliche Anzahl von benannten Entitäten. Die Vorhersage der Entitätsnamen stellt oft für ein Sprachmodell eine Herausforderung dar, da sie im Trainingskorpus weniger häufig auftreten. In dieser Arbeit schlagen wir einen neuen und effektiven Ansatz vor, um ein diskriminatives Sprachmodell zu entwickeln, das durch die Nutzung der Entitätstypinformation die Entitätsnamen lernen kann. Wir stellen zudem zwei Benchmark-Datensätze vor, die auf Rezepten und Java-Programmiercodes basieren, mit denen wir das vorgeschlagene Modell evaluiert haben. Die experimentellen Ergebnisse zeigen, dass unser Modell bei der Generierung von Rezepten 52,2 % bessere Perplexität und bei der Codegenerierung 22,06 % bessere Perplexität als die besten bisherigen Sprachmodelle erreicht.