Rain-Bus/Obsidian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

vault backup: 2024-04-01 20:01:16

Browse Source
This commit is contained in:
Rain&Bus
2024-04-01 20:01:16 +08:00
parent 5bf371ff29
commit 52c2eb53da
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
Books/动手学深度学习/基础概念.md
View File

@@ -15,7 +15,7 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
# 激活函数
在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
常用的有sigmoid、ReLU、tanh等函数。
在MLP中，由于激活函数的存在还会出现梯度消失和梯度爆炸的问题，
在MLP中，由于激活函数的存在还会出现梯度消失和梯度爆炸的问题。由于每次梯度瞎讲讲的过程中需要对激活函数求导并，
# 正则化
主要用来解决过拟合问题。
- 权重衰减