HyperAIHyperAI

Command Palette

Search for a command to run...

Referenzbewusste Sprachmodelle

Zichao Yang; Phil Blunsom; Chris Dyer; Wang Ling

Zusammenfassung

Wir schlagen eine allgemeine Klasse von Sprachmodellen vor, die Referenz als expliziable stochastische latente Variable behandelt. Diese Architektur ermöglicht es den Modellen, Erwähnungen von Entitäten und deren Attributen durch den Zugriff auf externe Datenbanken (z.B. für Dialoggenerierung und Rezeptgenerierung) und interne Zustände (z.B. für Sprachmodelle, die Koreferenz bewusst sind) zu erstellen. Dies erleichtert die Einbindung von Informationen, die in vorhersagbaren Orten in Datenbanken oder Diskurskontexten abgerufen werden können, auch wenn die Referenzziele seltene Wörter sein können. Experimente mit drei Aufgaben zeigen die Leistungsfähigkeit unserer Modellvarianten basierend auf deterministischer Aufmerksamkeit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Referenzbewusste Sprachmodelle | Paper | HyperAI