vault backup: 2024-04-29 20:33:30

Record/DL/Loss.md

@@ -11,4 +11,13 @@ $$
 H(p,q) = \sum_x p(x) \frac{1}{q(x)}=-\sum_x p(x) \log q(x) 
 $$
 > 表示对预测分布 $q(x)$ 使用真实分布 $p(x)$ 来进行编码时所需要的信息量大小。
+> 由于熵是最小平均编码长度，当且仅当$p=q$时，交叉熵取得最小值$H(p,q) = H(q,p) = H(p) = H(q)$
 # KL 散度
+KL散度(相对熵)的表示如下：
+$$
+D_{KL}(p||q) = H(p,q) - H(p) = - \sum_x p(x) \log \frac{q(x)}{p(x)}
+$$
+KL散度有以下性质：
+1. 正定性：$D_{KL}(p||q) \ge 0$
+2. 非对称性：$D_{KL}(p||q) \ne D_{KL}(q||p)$
+3.