负对数似然 Negative Log Likelihood

负对数似然是一种用于解决分类问题的损失函数,它是似然函数得一种自然对数形式,可用于测量两种概率分布之间的相似性,其取负号是为了让最大似然值和最小损失相对应,是最大似然估计及相关领域的常见函数形式。

机器学习中,习惯用优化算法求最小值,因此会用到负对数似然,这是分类问题中的常见的损失函数,且能拓展到多分类问题。

负对数似然和似然估计

参数估计中有一类方法叫做「最大似然估计」,因为涉及到的估计函数往往是是指数型族,所以取对数后不影响其单调性,但会让计算过程变得简单。

根据涉及的模型不同, 对数函数也存在不同,但都是从因变量的密度函数的到来,并涉及到对随机干扰项分布的假设。

父级词:对数似然函数