vault backup: 2024-04-01 19:01:16

2024-04-01 19:01:16 +08:00
parent e1996dd103
commit ae6e46a8f4
1 changed files with 1 additions and 1 deletions
--- a/Books/动手学深度学习/基础概念.md
+++ b/Books/动手学深度学习/基础概念.md
@@ -24,5 +24,5 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
 	通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，但是不为0，使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上，将其它权重清零，这称之为特征选择。
 - Dropout
 	*经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。简单性的另一个角度是平滑性，即函数不应该对其输入的微小变化敏感。*
-	Dropout在计算每一层时
+	在实践中,我们以$p$的概率将隐藏单元置为0，在执行反向传播时，删除的神经元的梯度也会消失，这就使得输出层不会过于依赖其中的任何一个隐藏单元。