Effiziente dynamische Auswahl harter negative Beispiele für Dialogauswahl

Neuere Studien haben erhebliche Verbesserungen bei Auswahlaufgaben gezeigt, wobei ein erheblicher Teil dieses Erfolgs auf die Einbeziehung informativer Negativbeispiele während des Trainings zurückzuführen ist. Während herkömmliche Methoden zur Erzeugung schwerer Negativen eine sinnvolle Supervision bieten, basieren sie auf statischen Beispielen, die sich während des Trainings nicht anpassen und somit zu suboptimalen Ergebnissen führen. Die dynamische Auswahl schwerer Negativer adressiert diesen Nachteil, indem sie sich kontinuierlich an den sich verändernden Zustand des Modells während des Trainings anpasst. Allerdings beschränken die hohen rechnerischen Anforderungen dieses Ansatzes seine Anwendbarkeit auf bestimmte Modellarchitekturen. Um diese Herausforderungen zu überwinden, stellen wir eine effiziente dynamische Auswahl schwerer Negativer (EDHNS) vor. EDHNS steigert die Effizienz, indem sie leicht unterscheidbare Negative vorab filtert, wodurch die Anzahl der Kandidaten, die das Modell während des Trainings berechnen muss, reduziert wird. Zudem werden Frage-Kandidat-Paare, bei denen das Modell bereits eine hohe Konfidenz zeigt, aus der Verlustberechnung ausgeschlossen, was die Trainingszeit weiter verkürzt. Diese Ansätze gewährleisten eine hohe Lernqualität, während gleichzeitig Rechenressourcen minimiert und der Trainingsprozess vereinfacht werden. Umfangreiche Experimente auf den Benchmarks DSTC9, DSTC10, Ubuntu und E-Commerce zeigen, dass EDHNS die Baseline-Modelle erheblich übertrifft und somit seine Wirksamkeit bei Aufgaben der Dialogauswahl nachweist.