Obsidian/Study/DL/吴恩达深度学习课程/Lesson 1.md

Neural Network and Deep Learning

Logistic Regression

$$\begin{align} 正向传递\ z &= w^Tx + b \ a &= \sigma(z) = \frac{1}{1+e^{-x}} \ \hat{y} &= L(a) = -ylog(\hat{y}) - (1-y)log(1-\hat{y}) \ \ 其中(\hat{y} = a) \ 反向传递 \ \frac{dL}{da} &= \frac{(a-y)}{a(1-a)} \ \frac{da}{dz} &= a(1-a) \ dz = \frac{dL}{dz} &= \frac{dL}{da} \cdot \frac{da}{dz} = a-y \ dw = \frac{dL}{dw} &= \frac{dL}{dz} \cdot \frac{dz}{dw} = xdz \ db = \frac{dL}{db} &= \frac{dL}{dz} \cdot \frac{dz}{db} = dz \ w &= w - \eta \cdot dw \ b &= b - \eta \cdot db \end{align}$$ 正向传递：计算网络输出。 反向传递：更新模型参数。 sigmoid函数：消除线性。 损失函数：计算模型预测结果的精度，反向传播的目的就是使得。

Vectorization

向量化相较于显式循环更高效，能够更好的利用系统的并行化计算。