diff --git a/Record/DL/Loss.md b/Record/DL/Loss.md index 243696e..2b4412d 100644 --- a/Record/DL/Loss.md +++ b/Record/DL/Loss.md @@ -11,4 +11,13 @@ $$ H(p,q) = \sum_x p(x) \frac{1}{q(x)}=-\sum_x p(x) \log q(x) $$ > 表示对预测分布 $q(x)$ 使用真实分布 $p(x)$ 来进行编码时所需要的信息量大小。 +> 由于熵是最小平均编码长度,当且仅当$p=q$时,交叉熵取得最小值$H(p,q) = H(q,p) = H(p) = H(q)$ # KL 散度 +KL散度(相对熵)的表示如下: +$$ +D_{KL}(p||q) = H(p,q) - H(p) = - \sum_x p(x) \log \frac{q(x)}{p(x)} +$$ +KL散度有以下性质: +1. 正定性:$D_{KL}(p||q) \ge 0$ +2. 非对称性:$D_{KL}(p||q) \ne D_{KL}(q||p)$ +3. \ No newline at end of file