From 1ee0070d326a8eeffcd8449ae427eda64df56eb5 Mon Sep 17 00:00:00 2001 From: Rain&Bus Date: Mon, 1 Apr 2024 18:31:15 +0800 Subject: [PATCH] vault backup: 2024-04-01 18:31:15 --- Books/动手学深度学习/基础概念.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index aff4603..5b97f76 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -22,4 +22,5 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ 正则化损失函数：$L = L_0 + \lambda ||\mathbf w||^2$ 反向传播：$w_i ← w_i - \alpha(\frac{\partial L_0}{\partial w_i} + \lambda w_i)$ 通过反向传播的过程我们可以看到，每次迭代后，权重的值都会变为$(1 - \lambda \alpha)$倍，使得权重值更加靠近零，但是不为0，使模型偏向于学习更加简单的、泛化性能更高的模型。L1正则化则会导致模型将权重集中在一部分特征上，将其它权重清零，这称之为特征选择。 -- Dropout \ No newline at end of file +- Dropout + \ No newline at end of file