HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Bedingung in kontextbewussten sequenz-zu-sequenz-Modellen

Xinyi Wang Jason Weston Michael Auli Yacine Jernite

Zusammenfassung

Neuronale sequenz-zu-Sequenz-Modelle sind für Anwendungen etabliert, die als Abbildung einer einzelnen Eingabesequenz auf eine einzelne Ausgabesequenz formuliert werden können. In dieser Arbeit konzentrieren wir uns auf Fälle, bei denen die Generierung sowohl auf einer kurzen Abfrage als auch auf einem längeren Kontext bedingt ist, beispielsweise bei abstraktiver Fragebeantwortung oder dokumentenweiser Übersetzung. Wir modifizieren den herkömmlichen Ansatz der Sequenz-zu-Sequenz-Modellierung, um sowohl die Abfrage als auch den Kontext effizienter zu nutzen, indem wir den Bedingungsmechanismus erweitern, um Abfrage- und Kontext-Attention miteinander zu verflechten. Außerdem führen wir eine einfache und effiziente Methode zur Datenverstärkung (data augmentation) für das vorgeschlagene Modell ein. Experimente an drei unterschiedlichen Aufgaben zeigen, dass beide Verbesserungen konsistente Leistungssteigerungen bewirken.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp