噪音对比估计 Noise-Contrastive Estimation

噪音对比估计 NCE 是一种统计模型估计法,有 Gutmann 和 Hyv¨arinen 提出,主要用于解决神经网络的复杂计算问题,目前在图像处理和自然语言处理领域广泛应用。

NCE 的思想

将真实样本和「噪声样本」进行对比,并从中找寻真实样本的规律,即「利用比较学习」将概率生成问题转化为二分类问题,换句话说,就是将真实样本与从简单分布随机采样的错误样本进行对比,并试图找出真实样本与错误样本的差异。

NCE 的特点

NCE 是将复杂问题转化为二分类问题,即将真实样本判为 1,另一个分布采样的样本判为 0;此外,NCE 可在无法直接完成归一化因子计算时,直接估算出概率分布参数。

相关词:二分类问题