vault backup: 2024-04-01 16:58:15

Books/动手学深度学习/基础概念.md

@@ -16,10 +16,10 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
 在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
 常用的有sigmoid、ReLU、tanh等函数。
 # 正则化
-主要用来解决过拟合问题，使得z。
+主要用来解决过拟合问题。
 - 权重衰减
 	通过L2范数，惩罚大的权重值，使得模型的参数更加稀疏平均，从而使得模型不过于依赖某些特征，从而提升了泛化能力。
 	正则化损失函数：$L = L_0 + \lambda ||\mathbf w||^2$
 	反向传播：$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$
-	通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，是模型偏向于学习更加简单的，泛化。
-- 
+	通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，但是不为0，使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上，将其它权重清零，这称之为特征选择。
+- Dropout