vault backup: 2024-04-01 16:28:15

Books/动手学深度学习/基础概念.md

@@ -4,6 +4,8 @@
 $l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$
 损失函数我们则采用平方误差的均值：
 $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
+## 过拟合与欠拟合
+训练误差是在训练数据集上的误差，泛化误差是在普遍数据集上的误差，一般来说，欠拟合一般指在训练数据集上精本就度不高，导致泛化性能较差，过拟合指在过于拟合训练数据集中的样本,导致泛化性能较差。
 # 优化算法
 - 随机梯度下降算法(Stochastic Gradient Descent)
   通过不断在损失函数递减方向上更新参数来降低误差。
@@ -11,4 +13,12 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
   $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
   其中$\eta$代表学习率
 # 激活函数
-在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以破坏这种线性叠加。
+在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
+常用的有sigmoid、ReLU、tanh等函数。
+# 正则化
+主要用来解决过拟合问题。
+- 权重衰减
+	通过L2范数，惩罚大的权重值，使得模型的参数更加稀疏平均，从而使得模型不过于依赖某些特征，从而提升了泛化能力。
+	正则化损失函数：$L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2$
+	反向传播：$w \larr$
+-