Rain-Bus/Obsidian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

vault backup: 2024-04-01 15:58:02

Browse Source
This commit is contained in:
Rain&Bus
2024-04-01 15:58:02 +08:00
parent b16cf849cc
commit b564220130
1 changed files with 3 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

5
Books/动手学深度学习/基础概念.md
View File

@@ -13,5 +13,6 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
$(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
其中$\eta$代表学习率
# 激活函数
在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以破坏这种线性叠加。
常用的有sigmoid、ReLU、tanh等函数。
在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
常用的有sigmoid、ReLU、tanh等函数。
# 正则化