vault backup: 2023-10-10 15:56:41

Books/动手学深度学习/基础概念.md

@@ -1,4 +1,12 @@
 # 损失函数
 用来量化预测值与实际值之间的差距。
 一般我们会使用平方误差：
-$l^(i)=\frac{1}{2}(\hat)$
+$l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$
+损失函数我们则采用平方误差的均值：
+$L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
+# 优化算法
+- 随机梯度下降算法(Stochastic Gradient Descent)
+  通过不断在损失函数递减方向上更新参数来降低误差。
+  梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集，效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$，并从当前采纳数的值中减掉。
+  $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
+  其中$\eta$代表学习率