diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index ca5f755..ff133c7 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -16,9 +16,10 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ 在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以引入非线性。 常用的有sigmoid、ReLU、tanh等函数。 # 正则化 -主要用来解决过拟合问题。 +主要用来解决过拟合问题,使得z。 - 权重衰减 通过L2范数,惩罚大的权重值,使得模型的参数更加稀疏平均,从而使得模型不过于依赖某些特征,从而提升了泛化能力。 - 正则化损失函数:$L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2$ - 反向传播:$w \larr$ + 正则化损失函数:$L = L_0 + \lambda ||\mathbf w||^2$ + 反向传播:$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$ + 通过反向传播的过程我们可以看到,每次迭代后,权重的值都会变为$(1 - \lambda \alpha)$倍,使得权重值更加靠近零,是模型偏向于学习更加简单的,泛化。 - \ No newline at end of file