Referenzbewusste Sprachmodelle

Wir schlagen eine allgemeine Klasse von Sprachmodellen vor, die Referenz als expliziable stochastische latente Variable behandelt. Diese Architektur ermöglicht es den Modellen, Erwähnungen von Entitäten und deren Attributen durch den Zugriff auf externe Datenbanken (z.B. für Dialoggenerierung und Rezeptgenerierung) und interne Zustände (z.B. für Sprachmodelle, die Koreferenz bewusst sind) zu erstellen. Dies erleichtert die Einbindung von Informationen, die in vorhersagbaren Orten in Datenbanken oder Diskurskontexten abgerufen werden können, auch wenn die Referenzziele seltene Wörter sein können. Experimente mit drei Aufgaben zeigen die Leistungsfähigkeit unserer Modellvarianten basierend auf deterministischer Aufmerksamkeit.