HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Turn-Antwortauswahl für Chatbots mit tiefem Aufmerksamkeitsübereinstimmungsnetzwerk

dianhai yu daxiang dong Ying Chen Yi Liu Hua Wu Xiangyang Zhou Lu Li Wayne Xin Zhao

Zusammenfassung

Menschen generieren Antworten unter Berücksichtigung semantischer und funktionaler Abhängigkeiten, einschließlich der Coreferenzrelation, zwischen Dialogelementen und deren Kontext. In diesem Paper untersuchen wir die Zuordnung einer Antwort zu ihrem mehrschrittigen Kontext unter Verwendung von Abhängigkeitsinformationen, die vollständig auf Aufmerksamkeit basieren. Unsere Lösung wird durch den kürzlich vorgeschlagenen Transformer in der maschinellen Übersetzung (Vaswani et al., 2017) inspiriert, und wir erweitern die Aufmerksamkeitsmechanik auf zwei Weisen. Erstens konstruieren wir Darstellungen von Textsegmenten auf verschiedenen Granularitätsstufen ausschließlich mittels geschachtelter Selbstaufmerksamkeit. Zweitens versuchen wir, tatsächlich korrekte Segmentpaare durch Aufmerksamkeit über Kontext und Antwort zu extrahieren. Wir führen diese beiden Arten von Aufmerksamkeit gemeinsam in einem einheitlichen neuronalen Netzwerk ein. Experimente an zwei großen, mehrschrittigen Aufgaben zur Antwortauswahl zeigen, dass unser vorgeschlagenes Modell die derzeit besten Modelle signifikant übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Turn-Antwortauswahl für Chatbots mit tiefem Aufmerksamkeitsübereinstimmungsnetzwerk | Paper | HyperAI