HyperAIHyperAI
vor 2 Monaten

Uni-Encoder: Ein schnelles und genaues Paradigma zur Antwortselektion für generationsbasierte Dialogsysteme

Chiyu Song; Hongliang He; Haofei Yu; Pengfei Fang; Leyang Cui; Zhenzhong Lan
Uni-Encoder: Ein schnelles und genaues Paradigma zur Antwortselektion für generationsbasierte Dialogsysteme
Abstract

Sample-and-Rank ist eine wichtige Decodierstrategie für moderne generationsbasierte Dialogsysteme. Sie ermöglicht es, vielfältige und hochwertige Antworten zu erzeugen, indem sie aus einer kleinen Menge von generierten Kandidaten eine Antwort auswählt. Die derzeit besten Ranking-Methoden verwenden hauptsächlich ein Codierparadigma namens Cross-Encoder, das jedes Kontext-Kandidat-Paar getrennt kodiert und die Kandidaten nach ihren Anpassungswerten rangordnet. Allerdings kodiert der Cross-Encoder den gleichen langen Kontext für jeden Kandidaten wiederholt, was zu hohen Rechenkosten führt. Der Poly-Encoder löst die oben genannten Probleme, indem er die Interaktion zwischen Kontext und Kandidaten reduziert, aber dies geht mit einem Leistungsverlust einher. In dieser Arbeit entwickeln wir ein neues Paradigma namens Uni-Encoder, das die vollständige Aufmerksamkeit auf jedem Paar wie beim Cross-Encoder beibehält, während es den Kontext nur einmal kodiert wie beim Poly-Encoder. Der Uni-Encoder kodiert alle Kandidaten mit dem Kontext in einem einzigen Vorwärtsdurchgang. Wir verwenden dieselbe positionale Einbettung für alle Kandidaten, um sicherzustellen, dass sie gleich behandelt werden, und entwerfen einen neuen Aufmerksamkeitsmechanismus, um Verwechslungen zu vermeiden. Unser Uni-Encoder kann andere Ranking-Paradigmen durch verschiedene Aufmerksamkeits- und Antwortverkettungsmethoden simulieren. Ausführliche Experimente zeigen, dass unser vorgeschlagenes Paradigma neue Standartleistungen (state-of-the-art results) auf vier Benchmark-Datensätzen erreicht und dabei hohe Rechen-effizienz bietet. Zum Beispiel verbessert es R10@1 um 2,9 % bei einer etwa 4-mal schnelleren Inferenzgeschwindigkeit im Ubuntu V2 Datensatz.