HyperAIHyperAI

Command Palette

Search for a command to run...

Positionale Kodierung zur Steuerung der Ausgabelängen von Sequenzen

Sho Takase Naoaki Okazaki

Zusammenfassung

Neuronale Encoder-Decoder-Modelle haben sich bei Aufgaben der natürlichen Sprachgenerierung erfolgreich bewährt. Allerdings müssen realistische Anwendungen von abschließender Zusammenfassung zusätzliche Einschränkungen berücksichtigen, die besagen, dass eine generierte Zusammenfassung eine gewünschte Länge nicht überschreiten sollte. In dieser Arbeit schlagen wir eine einfache, aber effektive Erweiterung der sinusförmigen Positionscodierung (Vaswani et al., 2017) vor, um das neuronale Encoder-Decoder-Modell zu befähigen, die Längeneinschränkung einzuhalten. Im Gegensatz zu früheren Studien, die Einbettungen für jede Länge lernen, kann die vorgeschlagene Methode Texte beliebiger Länge generieren, auch wenn die Ziel-Länge in den Trainingsdaten nicht vorhanden ist. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode nicht nur die Generierungslänge steuern kann, sondern auch die ROUGE-Werte verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp