vault backup: 2023-10-15 17:08:27

Study/DL/吴恩达深度学习课程/矩阵求导.md

@@ -17,14 +17,33 @@ $$
 ## 本质
 $\frac{dB}{dA} = \frac{d(f(A))}{dA}$ 即 `B` 对 `A` 中的每个变量进行求导。
 ## 计算方法
-- 求导结果采用分母布局(同一行是同一个分母)。
 - 标量不变，向量拉伸。
-- Y横向拉伸，X纵向拉伸。
+- 前面横向拉伸，后面纵向拉伸。
+## 布局
+分为分母布局和分子布局(区别于谁是列向量)，主要区别为求导后元素排列不同。
+通常$(分母布局)^T = (分子布局)$。
+## 常用法则
+1. 乘法
+   $$
+	\frac{d(U^T V)}{dX} = \frac{\partial{U}}{\partial{X}} V + \frac{\partial{V}}{\partial{X}} U
+    $$
 ## 常见公式推导
 1. 
 	$$\begin{aligned}
-	f(X) = A^T \cdot X = \sum_{i=1}^{n}a_i x_i \\
-	d(f(X))
-	
-	
-    $$
+	f(X) &= A^T \cdot X = \sum_{i=1}^{n}a_i x_i \\
+	\frac{d(f(X))}{dX} &= 
+	\left[ \begin{matrix}
+	\frac{\partial{f(X)}}{\partial{x_1}} \\
+	\frac{\partial{f(X)}}{\partial{x_2}} \\
+	\vdots\\
+	\frac{\partial{f(X)}}{\partial{x_n}}
+	\end{matrix} \right]
+	=
+	\left[ \begin{matrix}
+	a_1\\
+	a_2\\
+	\vdots\\
+	a_n
+	\end{matrix} \right]
+	= A
+    \end{aligned}$$