18 天前
采样至关重要!基于检索式对话系统中匹配模型学习的负采样策略实证研究
{Chongyang Tao, Wei Wu, Rui Yan, Dongyan Zhao, Yansong Feng, Jia Li}

摘要
我们研究如何采样负例,以自动构建有效的训练集,从而提升基于检索的对话系统中模型的学习效果。受学习过程中动态适应负例与匹配模型这一思想的启发,我们提出了四种采样策略:最小采样(minimum sampling)、最大采样(maximum sampling)、半困难采样(semi-hard sampling)以及衰减困难采样(decay-hard sampling)。在两个基准数据集上,结合三种匹配模型的实证研究结果表明:相较于广泛使用的随机采样策略,前两种策略会导致性能下降,而后两种策略则能够在两个基准数据集上持续提升所有模型的性能。