Komponierbare Textsteuerungen im Latentraum mit ODEs

Anwendungen textbasierter Systeme in der realen Welt erfordern häufig die Kombination vielfältiger Textsteuerungsoperationen, wie beispielsweise die Bearbeitung von Texten hinsichtlich bestimmter Attribute, die Manipulation von Schlüsselwörtern und Strukturen sowie die Generierung von Texten mit gewünschten Eigenschaften. Vorangegangene Arbeiten lernen typischerweise Sprachmodelle (LMs) einzeln oder für spezifische Teilbereiche von Operationen an, um diese durchzuführen. In jüngster Zeit wurde untersucht, wie Operationen auf plug-and-play-Basis kombiniert werden können, wobei jedoch oft kostspielige Such- oder Optimierungsverfahren im komplexen Sequenzraum erforderlich sind. In dieser Arbeit wird ein neuer effizienter Ansatz für komponierbare Textoperationen im kompakten latenzraum von Texten vorgestellt. Die geringe Dimensionalität und Differenzierbarkeit des textuellen Latenzvektors ermöglicht es uns, einen effizienten Sampler basierend auf gewöhnlichen Differentialgleichungen (ODEs) zu entwickeln, der beliebige Plug-in-Operatoren (z. B. Attributklassifizierer) integrieren kann. Durch eine effiziente Anpassung vortrainierter Sprachmodelle (z. B. GPT2) an diesen Latenzraum können wir anschließend die abgetasteten Vektoren in gewünschte Textsequenzen decodieren. Der flexible Ansatz erlaubt die Nutzung vielfältiger Kontrolloperatoren (z. B. Stimmung, Tempus, Formalität, Schlüsselwörter), die mit beliebigen relevanten Daten aus unterschiedlichen Domänen erworben wurden. Experimente zeigen, dass die Kombination solcher Operatoren innerhalb unseres Ansatzes hochwertige Textgenerierung oder -bearbeitung ermöglicht und gegenüber früheren Methoden erhebliche Verbesserungen in Bezug auf Generationsqualität und Effizienz erzielt.