HyperAIHyperAI

Command Palette

Search for a command to run...

Dial-MAE: ConTextueller Maskierter Auto-Encoder für Retrieval-basierte Dialogsysteme

Zhenpeng Su Xing Wu Wei Zhou Guangyuan Ma Songlin Hu

Zusammenfassung

Die Auswahl von Dialogantworten zielt darauf ab, aus mehreren Kandidaten eine angemessene Antwort basierend auf der Gesprächs- und Systemverlaufsgeschichte eines Benutzers auszuwählen. Die meisten existierenden Arbeiten konzentrieren sich hauptsächlich auf Post-Training und Feinabstimmung, die für Cross-Encoders angepasst sind. Es gibt jedoch keine Post-Training-Methoden, die speziell für dichte Encoder in der Dialogantwortenauswahl entwickelt wurden. Wir argumentieren, dass wenn das aktuelle Sprachmodell, das auf dichten Dialogsystemen (wie BERT) basiert, als dichter Encoder eingesetzt wird, es den Dialogkontext und die Antwort getrennt kodiert, was dazu führt, dass die Anpassung beider Repräsentationen schwierig wird. Daher schlagen wir Dial-MAE (Dialog-Kontext-Masking-Auto-Encoder) vor, eine einfache aber effektive Post-Training-Technik, die speziell für dichte Encoder in der Dialogantwortenauswahl entwickelt wurde. Dial-MAE verwendet eine asymmetrische Enkoder-Dekoder-Architektur, um die Semantik des Dialogs in dichte Vektoren zu komprimieren, wodurch eine bessere Anpassung zwischen den Merkmalen des Dialogkontexts und der Antwort erreicht wird. Unsere Experimente haben gezeigt, dass Dial-MAE hoch effektiv ist und den Stand der Technik auf zwei häufig evaluierten Benchmarks erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dial-MAE: ConTextueller Maskierter Auto-Encoder für Retrieval-basierte Dialogsysteme | Paper | HyperAI