vault backup: 2024-04-01 16:28:15

2024-04-01 16:28:15 +08:00
parent b564220130
commit 75d131be44
1 changed files with 6 additions and 0 deletions
--- a/Books/动手学深度学习/基础概念.md
+++ b/Books/动手学深度学习/基础概念.md
@@ -16,3 +16,9 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
 在MLP中，由于多个线性层叠加，最终的结果和单层感知机并无区别，加入激活函数后，可以引入非线性。
 常用的有sigmoid、ReLU、tanh等函数。
 # 正则化
+主要用来解决过拟合问题。
+- 权重衰减
+	通过L2范数，惩罚大的权重值，使得模型的参数更加稀疏平均，从而使得模型不过于依赖某些特征，从而提升了泛化能力。
+	正则化损失函数：$L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2$
+	反向传播：$w \larr$
+-