JS 散度 Jensen-Shannon Divergence
日期
7 年前
JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。一般地，JS 散度是对称的，其取值是 0 到 1 之间。
定义如下：
KL 散度和 JS 散度度量的时候有一个问题：
如果两个分配 P,Q 离得很远，完全没有重叠的时候，那么 KL 散度值是没有意义的，而 JS 散度值是一个常数，这就意味这一点的梯度为 0 。
日期
JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。一般地，JS 散度是对称的，其取值是 0 到 1 之间。
定义如下：
KL 散度和 JS 散度度量的时候有一个问题：
如果两个分配 P,Q 离得很远，完全没有重叠的时候，那么 KL 散度值是没有意义的，而 JS 散度值是一个常数，这就意味这一点的梯度为 0 。
日期
JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。一般地，JS 散度是对称的，其取值是 0 到 1 之间。
定义如下：
KL 散度和 JS 散度度量的时候有一个问题：
如果两个分配 P,Q 离得很远，完全没有重叠的时候，那么 KL 散度值是没有意义的，而 JS 散度值是一个常数，这就意味这一点的梯度为 0 。