Rain-Bus/Obsidian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

vault backup: 2024-04-01 18:46:15

Browse Source
This commit is contained in:
Rain&Bus
2024-04-01 18:46:15 +08:00
parent 1ee0070d32
commit e1996dd103
2 changed files with 3 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
.obsidian/appearance.json vendored
View File

@@ -2,7 +2,7 @@
"accentColor": "", "accentColor": "",
"cssTheme": "Minimal", "cssTheme": "Minimal",
"monospaceFontFamily": "Maple Mono SC NF", "monospaceFontFamily": "Maple Mono SC NF",
"theme": "moonstone", "theme": "system",
"interfaceFontFamily": "霞鹜文楷", "interfaceFontFamily": "霞鹜文楷",
"textFontFamily": "霞鹜文楷等宽", "textFontFamily": "霞鹜文楷等宽",
"translucency": false "translucency": false

2
Books/动手学深度学习/基础概念.md
View File

@@ -23,4 +23,6 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
反向传播：$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$ 反向传播：$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$
通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，但是不为0，使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上，将其它权重清零，这称之为特征选择。 通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，但是不为0，使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上，将其它权重清零，这称之为特征选择。
- Dropout - Dropout
*经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。简单性的另一个角度是平滑性，即函数不应该对其输入的微小变化敏感。*
Dropout在计算每一层时