Sampling Matters! Eine empirische Studie zu negativen Sampling-Strategien für das Lernen von Matching-Modellen in abfragebasierten Dialogsystemen

Wir untersuchen, wie negative Beispiele sampling werden können, um automatisch einen Trainingsdatensatz für eine effektive Modell-Lernung in abfragebasierten Dialogsystemen zu erstellen. Ausgehend von der Idee, negative Beispiele dynamisch an die Matching-Modelle im Lernprozess anzupassen, betrachten wir vier Strategien: Minimum-Sampling, Maximum-Sampling, Semi-Hard-Sampling und Decay-Hard-Sampling. Empirische Studien an zwei Benchmarks mit drei Matching-Modellen zeigen, dass im Vergleich zur weit verbreiteten Zufalls-Sampling-Strategie die ersten beiden Strategien zwar zu einer Leistungsminderung führen, die beiden letzten Strategien hingegen eine konsistente Verbesserung der Leistung aller Modelle auf beiden Benchmarks erzielen.