Files
Obsidian/Study/DL/吴恩达深度学习课程/矩阵求导.md

853 B
Raw Blame History

概念

标量函数:输出为标量的函数


f(x) = x^2

向量函数:输出为向量/矩阵/张量的函数


f(x) = 
\left[ \begin{matrix}
x & x^2 \\
x^3 & x^4
\end{matrix} \right]

f(A) = B

本质

\frac{dB}{dA} = \frac{d(f(A))}{dA}BA 中的每个变量进行求导。

计算方法

  • 求导结果采用分母布局(同一行是同一个分母)。
  • 标量不变,向量拉伸。
  • Y横向拉伸X纵向拉伸。

常见公式推导

  1. $$\begin{aligned} f(X) &= A^T \cdot X = \sum_{i=1}^{n}a_i x_i \ \frac{d(f(X))}{dX} &= \left[ \begin{matrix} \frac{\partial{f(X)}}{\partial{x_1}} \ \frac{\partial{f(X)}}{\partial{x_2}} \ \vdots\ \frac{\partial{f(X)}}{\partial{x_n}} \end{matrix} \right]

    \left[ \begin{matrix} a_1\ a_2\ \vdots\ a_n \end{matrix} \right] = A \end{aligned}$$