From 5fdb15d09613f128204418c04f21ff033ebbaf65 Mon Sep 17 00:00:00 2001 From: rain&bus Date: Tue, 10 Oct 2023 15:56:41 +0800 Subject: [PATCH] vault backup: 2023-10-10 15:56:41 --- Books/动手学深度学习/基础概念.md | 10 +++++++++- 1 file changed, 9 insertions(+), 1 deletion(-) diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index b8f02a5..a845d86 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -1,4 +1,12 @@ # 损失函数 用来量化预测值与实际值之间的差距。 一般我们会使用平方误差： -$l^(i)=\frac{1}{2}(\hat)$ +$l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$ +损失函数我们则采用平方误差的均值： +$L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ +# 优化算法 +- 随机梯度下降算法(Stochastic Gradient Descent) + 通过不断在损失函数递减方向上更新参数来降低误差。 + 梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集，效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$，并从当前采纳数的值中减掉。 + $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$ + 其中$\eta$代表学习率