Rain-Bus/Obsidian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

vault backup: 2024-04-01 19:46:16

Browse Source
This commit is contained in:
Rain&Bus
2024-04-01 19:46:16 +08:00
parent ae6e46a8f4
commit 5bf371ff29
1 changed files with 2 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

3
Books/动手学深度学习/基础概念.md
View File

@@ -11,10 +11,11 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
通过不断在损失函数递减方向上更新参数来降低误差。 通过不断在损失函数递减方向上更新参数来降低误差。
梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集，效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$，并从当前采纳数的值中减掉。 梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集，效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$，并从当前采纳数的值中减掉。
$(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$ $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
其中$\eta$代表学习率 其中$\eta$代表学习率。
# 激活函数 # 激活函数
在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。 在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
常用的有sigmoid、ReLU、tanh等函数。 常用的有sigmoid、ReLU、tanh等函数。
在MLP中，由于激活函数的存在还会出现梯度消失和梯度爆炸的问题，
# 正则化 # 正则化
主要用来解决过拟合问题。 主要用来解决过拟合问题。
- 权重衰减 - 权重衰减