Merge remote-tracking branch 'origin/main'
This commit is contained in:
2
.obsidian/app.json
vendored
2
.obsidian/app.json
vendored
@@ -1,7 +1,7 @@
|
|||||||
{
|
{
|
||||||
"promptDelete": false,
|
"promptDelete": false,
|
||||||
"newLinkFormat": "relative",
|
"newLinkFormat": "relative",
|
||||||
"attachmentFolderPath": "./assets/引言",
|
"attachmentFolderPath": "./assets/基础概念",
|
||||||
"showUnsupportedFiles": false,
|
"showUnsupportedFiles": false,
|
||||||
"newFileLocation": "current",
|
"newFileLocation": "current",
|
||||||
"useMarkdownLinks": true,
|
"useMarkdownLinks": true,
|
||||||
|
|||||||
14
.obsidian/workspace.json
vendored
14
.obsidian/workspace.json
vendored
@@ -13,7 +13,7 @@
|
|||||||
"state": {
|
"state": {
|
||||||
"type": "markdown",
|
"type": "markdown",
|
||||||
"state": {
|
"state": {
|
||||||
"file": "Books/动手学深度学习/引言.md",
|
"file": "Books/动手学深度学习/基础概念.md",
|
||||||
"mode": "source",
|
"mode": "source",
|
||||||
"source": false
|
"source": false
|
||||||
}
|
}
|
||||||
@@ -77,7 +77,8 @@
|
|||||||
}
|
}
|
||||||
],
|
],
|
||||||
"direction": "horizontal",
|
"direction": "horizontal",
|
||||||
"width": 315.5
|
"width": 315.5,
|
||||||
|
"collapsed": true
|
||||||
},
|
},
|
||||||
"right": {
|
"right": {
|
||||||
"id": "c501495747cfa761",
|
"id": "c501495747cfa761",
|
||||||
@@ -93,7 +94,7 @@
|
|||||||
"state": {
|
"state": {
|
||||||
"type": "backlink",
|
"type": "backlink",
|
||||||
"state": {
|
"state": {
|
||||||
"file": "Books/动手学深度学习/引言.md",
|
"file": "Books/动手学深度学习/基础概念.md",
|
||||||
"collapseAll": false,
|
"collapseAll": false,
|
||||||
"extraContext": false,
|
"extraContext": false,
|
||||||
"sortOrder": "alphabetical",
|
"sortOrder": "alphabetical",
|
||||||
@@ -110,7 +111,7 @@
|
|||||||
"state": {
|
"state": {
|
||||||
"type": "outgoing-link",
|
"type": "outgoing-link",
|
||||||
"state": {
|
"state": {
|
||||||
"file": "Books/动手学深度学习/引言.md",
|
"file": "Books/动手学深度学习/基础概念.md",
|
||||||
"linksCollapsed": false,
|
"linksCollapsed": false,
|
||||||
"unlinkedCollapsed": true
|
"unlinkedCollapsed": true
|
||||||
}
|
}
|
||||||
@@ -133,7 +134,7 @@
|
|||||||
"state": {
|
"state": {
|
||||||
"type": "outline",
|
"type": "outline",
|
||||||
"state": {
|
"state": {
|
||||||
"file": "Books/动手学深度学习/引言.md"
|
"file": "Books/动手学深度学习/基础概念.md"
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
@@ -166,9 +167,10 @@
|
|||||||
},
|
},
|
||||||
"active": "82a60b2f86acd8d6",
|
"active": "82a60b2f86acd8d6",
|
||||||
"lastOpenFiles": [
|
"lastOpenFiles": [
|
||||||
|
"Books/动手学深度学习/引言.md",
|
||||||
|
"Books/动手学深度学习/基础概念.md",
|
||||||
"Books/Java Guide/基础语法.md",
|
"Books/Java Guide/基础语法.md",
|
||||||
"Books/Java并发编程/Java并发编程.md",
|
"Books/Java并发编程/Java并发编程.md",
|
||||||
"Books/动手学深度学习/引言.md",
|
|
||||||
"Books/从零开始深入学习Spring/IoC.md",
|
"Books/从零开始深入学习Spring/IoC.md",
|
||||||
"Books/Vim实用技巧/一、入门导读.md",
|
"Books/Vim实用技巧/一、入门导读.md",
|
||||||
"Books/从零开始深入学习Spring",
|
"Books/从零开始深入学习Spring",
|
||||||
|
|||||||
12
Books/动手学深度学习/基础概念.md
Normal file
12
Books/动手学深度学习/基础概念.md
Normal file
@@ -0,0 +1,12 @@
|
|||||||
|
# 损失函数
|
||||||
|
用来量化预测值与实际值之间的差距。
|
||||||
|
一般我们会使用平方误差:
|
||||||
|
$l^i(\mathbf{w}, b) = \frac{1}{2}( \hat{y}^i - y^i)$
|
||||||
|
损失函数我们则采用平方误差的均值:
|
||||||
|
$L(\mathbf{w}, b) = \frac1n\sum_{i=1}^{n} l^i(\mathbf{x}, b)$
|
||||||
|
# 优化算法
|
||||||
|
- 随机梯度下降算法(Stochastic Gradient Descent)
|
||||||
|
通过不断在损失函数递减方向上更新参数来降低误差。
|
||||||
|
梯度下降法主要计算损失函数关于模型参数的导数。但是每次计算时候遍历整个数据集,效率会很低。所以每次计算先抽取一个小批量$B$(由固定数量的样本组成)的梯度,然后我们将梯度乘以一个预先确定的正数$\eta$,并从当前采纳数的值中减掉。
|
||||||
|
$(\mathbf{w}, b) <- (\mathbf{w},b) - \frac{\eta}{|B|} \sum_{i\in{B}}\partial_{(\mathbf{w}, b)}l^i(\mathbf{w},b)$
|
||||||
|
其中$\eta$代表学习率
|
||||||
@@ -1,2 +1 @@
|
|||||||
# 关键部分
|
|
||||||
## 数据
|
|
||||||
|
|||||||
Reference in New Issue
Block a user