vault backup: 2024-04-29 19:34:30

Record/DL/Loss.md

@@ -3,7 +3,8 @@
 $$
 H(X) = - \sum_{i=1}^{n}p(x_i) \log p(x_i)
 $$
-> $p(x_i)=0$时，$p(x_i)logp(x_i)=0$
+> $p(x_i)=0$ 时，$p(x_i)logp(x_i)=0$。
+> $\log p(x)$表示某个状态所需的信息量，较低的熵往往需要的信息量更少，这样才会使得总信息量更小。熵表示服从某一概率分布时理论最小平均编码长度。
 
 # 交叉熵
 $$