diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index 6a575ff..c19de4a 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -13,5 +13,6 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$ 其中$\eta$代表学习率 # 激活函数 -在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以破坏这种线性叠加。 -常用的有sigmoid、ReLU、tanh等函数。 \ No newline at end of file +在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以引入非线性。 +常用的有sigmoid、ReLU、tanh等函数。 +# 正则化