diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index 8852efb..3078037 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -15,7 +15,7 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ # 激活函数 在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以引入非线性。 常用的有sigmoid、ReLU、tanh等函数。 -在MLP中,由于激活函数的存在还会出现梯度消失和梯度爆炸的问题。由于每次梯度瞎讲讲的过程中需要对激活函数求导并, +在MLP中,由于激活函数的存在还会出现梯度消失和梯度爆炸的问题。由于每次梯度下降的过程中需要对激活函数求导并乘上每一层的权重,这就会导致他梯度爆炸和梯度消失。 # 正则化 主要用来解决过拟合问题。 - 权重衰减