@

信息量

\(-\log p(x)=\log \frac{1}{p(x)}\)

信息熵

\(H(p)=H(x)=E_{x~p(x)}[-\log p(x)]=-\int p(x)\log p(x)dx或\sum p(x)\log\frac{1}{p(x)}\)

交叉熵

\(H(p,q)=-\int p(x)\log q(x)dx或\sum p(x)\log \frac{1}{q(x)}\)

KL散度

\(H(p)-H(p,q)=-\int p(x)\log p(x)dx-(-\int p(x)\log q(x)dx)\)
或
\(KL(p||q)=\sum p(x)\log\frac{p(x)}{q(x)}\)

JS散度

\(JS(p||q)=\frac{1}{2}KL(p(x)||\frac{p(x)+q(x)}{2}+\frac{1}{2}KL(q(x)||\frac{p(x)+q(x)}{2})\)

信息量代表的是一种不确定性；信息熵代表的是不确定性的期望值；KL散度，JS散度，交叉熵都可以用来衡量两个概率分布之间的差异性。

参考：
https://blog.csdn.net/neil3611244/article/details/82829103
码字不易，如果您觉得有帮助，麻烦点个赞再走呗~

原文：https://www.cnblogs.com/Kobaayyy/p/12545169.html