HyperAIHyperAI

Command Palette

Search for a command to run...

Sequentielle Inferenzmodelle für die end-to-end-Auswahl von Antworten aufbauen

Jia-Chen Gu extsuperscript1 Zhen-Hua Ling extsuperscript1 Yu-Ping Ruan extsuperscript1 Quan Liu extsuperscript1,2

Zusammenfassung

Dieses Papier stellt ein end-to-end-Antwortselektionsmodell für die erste Spur (Track 1) der 7. Dialogue System Technology Challenges (DSTC7) vor. Diese Aufgabe konzentriert sich darauf, aus einer Menge von Kandidaten das korrekte nächste Äußerung zu wählen, gegeben einen teilweise abgeschlossenen Dialog. Wir schlagen ein auf einem erweiterten sequenziellen Inferenzmodell (ESIM) basierendes end-to-end-Neuronales Netzwerk für diese Aufgabe vor. Unser vorgeschlagenes Modell unterscheidet sich vom ursprünglichen ESIM-Modell in den folgenden vier Aspekten:Erstens wird eine neue Wortrepräsentationsmethode angewendet, die allgemeine vortrainierte Wort-Vektoren mit jenen kombiniert, die auf dem taskspezifischen Trainingsdatensatz geschätzt wurden, um die Herausforderung von außerhalb des Wortschatzes liegenden Wörtern (out-of-vocabulary, OOV) anzugehen.Zweitens wurde ein aufmerksamkeiter hierarchischer rekurrenter Encoder (AHRE) entwickelt, der in der Lage ist, Sätze hierarchisch zu kodieren und durch Aggregation detailliertere Repräsentationen zu generieren.Drittens wird anstelle der einfachen Kombination aus Max-Pooling und Average-Pooling im ursprünglichen ESIM eine neue Pooling-Methode verwendet, die multidimensionales Pooling und Last-State-Pooling kombiniert.Schließlich wurde vor der Softmax-Schicht eine Modifikationsschicht hinzugefügt, um die Bedeutung des letzten Äußerungs im Kontext für die Antwortselektion zu unterstreichen.In den veröffentlichten Evaluationsresultaten der DSTC7 belegte unser vorgeschlagenes Verfahren Rang zwei auf dem Ubuntu-Datensatz und Rang drei auf dem Advising-Datensatz im Unterbereich 1 der ersten Spur (Track 1).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp