# 损失函数
用来量化预测值与实际值之间的差距。
一般我们会使用平方误差：
$l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$
损失函数我们则采用平方误差的均值：
$L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
# 优化算法
- 随机梯度下降算法(Stochastic Gradient Descent)
  通过不断在损失函数递减方向上更新参数来降低误差。
  梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集，效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$，并从当前采纳数的值中减掉。
  $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
  其中$\eta$代表学习率