HyperAIHyperAI
vor 2 Monaten

Die Welt ist nicht binär: Rangfolgelernen mit Graustufen-Daten für die Auswahl von Dialogantworten

Zibo Lin; Deng Cai; Yan Wang; Xiaojiang Liu; Hai-Tao Zheng; Shuming Shi
Die Welt ist nicht binär: Rangfolgelernen mit Graustufen-Daten für die Auswahl von Dialogantworten
Abstract

Die Auswahl von Antworten spielt eine entscheidende Rolle bei der Erstellung von Retrieval-basierten Konversationsystemen. Obwohl die Antwortauswahl naturgemäß ein Lernen-zum-Rangieren-Problem ist, betrachten und trainieren die meisten früheren Arbeiten dieses Aufgabe punktweise durch binäre Klassifikatoren: Jede Antwortkandidatin wird entweder als relevant (eins) oder irrelevant (null) gekennzeichnet. Einerseits kann diese Formalisierung aufgrund ihrer Vernachlässigung der Vielfalt der Antwortqualität suboptimal sein. Andererseits kann das Annotieren von Grauwertdaten für das Lernen zum Rangieren unermäßiglich teuer und schwierig sein. In dieser Arbeit zeigen wir, dass Grauwertdaten automatisch ohne menschliches Zutun generiert werden können. Unsere Methode nutzt Standardantwort-Retrieval-Modelle und Antwortgenerierungsmodelle als automatische Generatoren für Grauwertdaten. Mit den erstellten Grauwertdaten schlagen wir mehrstufige Rangierziele für das Training vor, die (1) ein Matching-Modell lehren können, feinere Unterschiede zwischen Kontext und Antwortrelevanz zu erfassen, und (2) die Diskrepanz zwischen Trainings- und Testphase hinsichtlich der Stärke der Ablenkungen reduzieren können. Unsere Methode ist einfach, effektiv und universell. Experimente mit drei Benchmark-Datensätzen und vier state-of-the-art-Matching-Modellen zeigen, dass der vorgeschlagene Ansatz signifikante und konsistente Leistungsverbesserungen bringt.注释:- "grayscale data" 翻译为 "Grauwertdaten",这是一个在机器学习中不太常见的术语,但为了保持专业性和信息完整性,这里直接翻译并保留原意。- "distractor strength" 翻译为 "Stärke der Ablenkungen",这是指干扰项的强度或质量。