diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index 87573e9..8c248a5 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -24,5 +24,5 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ 通过反向传播的过程我们可以看到,每次迭代后,权重的值都会变为$(1 - \lambda \alpha)$倍,使得权重值更加靠近零,但是不为0,使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上,将其它权重清零,这称之为特征选择。 - Dropout *经典泛化理论认为,为了缩小训练和测试性能之间的差距,应该以简单的模型为目标。简单性的另一个角度是平滑性,即函数不应该对其输入的微小变化敏感。* - Dropout在计算每一层时 + 在实践中,我们以$p$的概率将隐藏单元置为0,在执行反向传播时,删除的神经元的梯度也会消失,这就使得输出层不会过于依赖其中的任何一个隐藏单元。 \ No newline at end of file