Positionale Kodierung zur Steuerung der Ausgabelängen von Sequenzen

Neuronale Encoder-Decoder-Modelle haben sich bei Aufgaben der natürlichen Sprachgenerierung erfolgreich bewährt. Allerdings müssen realistische Anwendungen von abschließender Zusammenfassung zusätzliche Einschränkungen berücksichtigen, die besagen, dass eine generierte Zusammenfassung eine gewünschte Länge nicht überschreiten sollte. In dieser Arbeit schlagen wir eine einfache, aber effektive Erweiterung der sinusförmigen Positionscodierung (Vaswani et al., 2017) vor, um das neuronale Encoder-Decoder-Modell zu befähigen, die Längeneinschränkung einzuhalten. Im Gegensatz zu früheren Studien, die Einbettungen für jede Länge lernen, kann die vorgeschlagene Methode Texte beliebiger Länge generieren, auch wenn die Ziel-Länge in den Trainingsdaten nicht vorhanden ist. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode nicht nur die Generierungslänge steuern kann, sondern auch die ROUGE-Werte verbessert.