From b56422013041bc1ce9030e0678ba9efe25c9c03b Mon Sep 17 00:00:00 2001 From: Rain&Bus Date: Mon, 1 Apr 2024 15:58:02 +0800 Subject: [PATCH] vault backup: 2024-04-01 15:58:02 --- Books/动手学深度学习/基础概念.md | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/Books/动手学深度学习/基础概念.md b/Books/动手学深度学习/基础概念.md index 6a575ff..c19de4a 100644 --- a/Books/动手学深度学习/基础概念.md +++ b/Books/动手学深度学习/基础概念.md @@ -13,5 +13,6 @@ $L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$ $(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$ 其中$\eta$代表学习率 # 激活函数 -在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以破坏这种线性叠加。 -常用的有sigmoid、ReLU、tanh等函数。 \ No newline at end of file +在MLP中,由于多个线性层叠加,最终的结果和单层感知机并无区别,加入激活函数后,可以引入非线性。 +常用的有sigmoid、ReLU、tanh等函数。 +# 正则化