diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index aff4603..5b97f76 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -22,4 +22,5 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ 正则化损失函数:$L = L_0 + \lambda ||\mathbf w||^2$ 反向传播:$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$ 通过反向传播的过程我们可以看到,每次迭代后,权重的值都会变为$(1 - \lambda \alpha)$倍,使得权重值更加靠近零,但是不为0,使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上,将其它权重清零,这称之为特征选择。 -- Dropout \ No newline at end of file +- Dropout + \ No newline at end of file