diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index 17858d1..6a575ff 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -4,6 +4,8 @@ $l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$ 损失函数我们则采用平方误差的均值: $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ +## 过拟合与欠拟合 +训练误差是在训练数据集上的误差,泛化误差是在普遍数据集上的误差,一般来说,欠拟合一般指在训练数据集上精本就度不高,导致泛化性能较差,过拟合指在过于拟合训练数据集中的样本,导致泛化性能较差。 # 优化算法 - 随机梯度下降算法(Stochastic Gradient Descent) 通过不断在损失函数递减方向上更新参数来降低误差。 @@ -12,3 +14,4 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ 其中$\eta$代表学习率 # 激活函数 在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以破坏这种线性叠加。 +常用的有sigmoid、ReLU、tanh等函数。 \ No newline at end of file