Rain-Bus/Obsidian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

vault backup: 2024-04-01 20:16:16

Browse Source
This commit is contained in:
Rain&Bus
2024-04-01 20:16:16 +08:00
parent 52c2eb53da
commit 2a607e0615
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
Books/动手学深度学习/基础概念.md
View File

@@ -15,7 +15,7 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
# 激活函数 # 激活函数
在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。 在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
常用的有sigmoid、ReLU、tanh等函数。 常用的有sigmoid、ReLU、tanh等函数。
在MLP中，由于激活函数的存在还会出现梯度消失和梯度爆炸的问题。由于每次梯度瞎讲讲的过程中需要对激活函数求导并， 在MLP中，由于激活函数的存在还会出现梯度消失和梯度爆炸的问题。由于每次梯度下降的过程中需要对激活函数求导并乘上每一层的权重，这就会导致他梯度爆炸和梯度消失。
# 正则化 # 正则化
主要用来解决过拟合问题。 主要用来解决过拟合问题。
- 权重衰减 - 权重衰减