任意维 · 参数更多,更新规则还是同一句
把更新推广到任意维,再用代码核对。
20–30分钟(选读)
学完这章,你能
- 把更新规则推广到任意多个参数
- 认识凸优化的含义与边界
- 运行Python例子核对结果
先盯住列表里的一个数。能跟着它走一步,就能把同样的做法用在整份列表上。
点「下一步」,先只跟踪第三个数 −1。 它的偏导数是 −2,更新后是 −0.5。最后看三个数的平方和怎样从 6 降到 1.5。
逐步看:多个参数怎样一起更新- 旧参数
- 算梯度
- 算步幅
- 新参数
- 核对
先看整份旧参数。
旧参数 w(3,)只读
一条轴;横排只为阅读,实际形状看shape。
平方和:6 → 待核对
每次只看一个动作;点“上一步”可以回看刚才的数字。 图中参数个数用于演示;代码可处理更长的参数列表。
从旧参数开始,每次看一个动作。
切成五个参数,再走一遍。 现在有五个偏导数,仍然先从同一份旧参数算完,再一起更新。这里每项乘 2 来自平方和。换函数时要重新求它的偏导数。
选读:从三个数推广到任意维
一个数用 x,两个数用 (x, y),三个数就用 (w₁, w₂, w₃)。下标只是编号,w₁ 是第一个数,w₂ 是第二个数,没有新运算。
从两个平方,推广到 n 个平方
先看三个参数:f(w₁, w₂, w₃) = w₁² + w₂² + w₃²。对其中一个参数求偏导时,其他两个数都固定;因此三个偏导数依次是 2w₁、2w₂、2w₃。
n 代表任意正整数。n 个参数的版本完全一样:
Σ 是“把这些项加起来”的简写。向量 w 就是一整份参数列表。并不是要求你把 n 维图画出来:一个参数的函数能画成二维曲线,两个参数的函数能画成三维曲面,更多参数直接按数字计算即可。
用三个小数字,完整走一步
旧参数是 (2, 1, −1),函数值是 4 + 1 + 1 = 6。梯度是 (4, 2, −2),学习率是 0.25。
- 第一个数:
2 − 0.25 × 4 = 1。 - 第二个数:
1 − 0.25 × 2 = 0.5。 - 第三个数:
−1 − 0.25 × (−2) = −0.5。
新参数是 (1, 0.5, −0.5),新函数值是 1 + 0.25 + 0.25 = 1.5。参数有三项,公式就各用三次。
一般函数,也用同一条更新规则
平方和容易求导,所以本例的偏导数恰好是 2w。别的函数要算它自己的偏导数,不能一律套用 2w。 通用形式是:
把所有参数一起写,就成了 新参数列表 = 旧参数列表 − 学习率 × 梯度列表。每一项梯度都在同一份旧参数处计算,然后统一更新。
神经网络里的权重、偏置也可以放进这样的参数列表。反向传播负责高效地求这些偏导数,优化器负责更新。参数再多,基本分工仍然相同。
本节小结
从一个参数到任意多个参数,只是坡度列表变长。真正的规则一直是:在旧位置求梯度,沿负梯度方向走一小步。
接下来认识凸优化,说明我们这只“碗”为什么容易找到最低点。
先看两端之间的中点。 在 x² 图上,实际高度是 1,连线高度是 2。切换到 −x²,看看哪个点到了连线上方。
拖一拖:函数图像和两端连线比高度实线:函数图像 虚线:两端连线 实心点:实际值 空心点:连线高度
位置 x = 1实际值 1连线高度 2
1 ≤ 2
在这条凸曲线上,实际值始终不高于连线。t = 0.5 时,实际值是 1,连线高度是 2。 拖动只是帮助理解;“所有两点都满足”需要数学证明。
可以直接拖动滑块,也可以播放;暂停后可继续手动探索。
凸函数的图像不高于任意两点之间的连线。 对 −x² 来说,中点的 −1 高于连线上的 −2,找到这一个反例就足以说明它不凸。拖动滑块可以试更多位置。
选读:把定义写成公式
正式写法放在这里,和上面那句话是同一个意思:
a、b 是两份参数,t 是混合比例;t = 0.5 就是各取一半。公式里的小于等于号,表达的正是“图像不高于连线”。
选读:允许的范围、最低点与神经网络
凸优化,还要求允许的范围是凸的
凸优化,就是在凸的可行范围里,最小化一个凸函数。 “可行范围”是允许选择的参数;“范围是凸的”表示任取两个允许的点,它们之间的整条线段也都允许。
本章允许参数取任意实数,这个范围是凸的;平方和也是凸函数,因此这就是凸优化。也可以加上简单限制,例如 x ≥ 1:这个范围仍然是凸的,最小化 x² 时的答案变成 x = 1,因为 x = 0 不再允许。
它的好处:局部最低,就是全局最低
对凸问题而言,不会出现“已经在一个小坑里到达局部最低,却还藏着另一个更低的坑”的情况。若是可微、无约束的凸函数,在某点所有偏导数都为 0,这个点就是全局最小点。
本例梯度 (2x, 2y) 为 0 时,x、y 都为 0,所以 (0, 0) 是全局最低点。平方和在这里还具有唯一的最小点;一般凸函数不一定只有一个最低点,例如常数函数到处一样高。
有限制时,最小点可能在边界上,梯度不一定为 0。刚才 x ≥ 1 的例子,答案 x = 1 的导数就是 2。处理限制需要额外步骤,本章的下山演示先使用无约束版本。
凸函数也要选好步长,神经网络也不全是凸问题
前面的 x² 已经是凸函数,但学习率太大照样来回跳、甚至越走越远。凸性说明问题的结构好,不表示任意更新方式都一定成功。
神经网络的损失通常不是凸函数。仅看到梯度接近 0,并不能保证找到了全局最低点;例如 −x² 在 x = 0 的导数也是 0,那里却是最高处。更复杂的函数还可能出现鞍点。
我们从平方和入门,是为了看清计算规则。实际模型还要检查训练过程,并用没有参与训练的数据评估效果。理解这只简单的碗,已经足够继续动手搭网络。
本节小结
凸函数的图像不高于任意两点的连线;凸优化是在凸的允许范围内,最小化凸函数。它让局部最低等于全局最低,但步长、约束和收敛仍然要分别考虑。
先运行,再把参数列表从三个数改成只留 [2.0]。 更新规则相同,两次实验的平方和分别是 6 → 1.5 → 0.375 和 4 → 1 → 0.25。
先读绿色注释,再改一个数字,运行后核对结果。
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
还没有运行。先预测结果,再点击运行。
用同一个循环就能处理不同长度的列表。这里用手算的平方和梯度。到了神经网络,PyTorch 会帮你计算梯度。
选做:一个参数时,步子太大了会怎样?
把学习率从 0.25 改成 1.0,再运行。位置会在 2 和 −2 之间来回跳,函数值一直是 4。
先读绿色注释,再改一个数字,运行后核对结果。
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
还没有运行。先预测结果,再点击运行。
选做:两个参数时,能一步到最低点吗?
把学习率从 0.25 改成 0.5,再运行。对这只碗,两个参数从旧位置同时更新后,恰好都变成 0。
先读绿色注释,再改一个数字,运行后核对结果。
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
还没有运行。先预测结果,再点击运行。
下载无需额外依赖的任意维下山代码本章小结
导数看一个数的坡度,偏导数看其中一个方向,梯度把所有方向的坡度放在一起。 用学习率控制距离,减去梯度,就得到下一步参数。
你已经从二维曲线、三维曲面,一路走到了任意多个参数,也认识了凸优化。暂时没记住符号没有关系;能跟着 2 → 1 → 0.5 算一次,就已经迈过了关键一步。
回到 梯度下降与反向传播,可以把这套计算与神经网络训练连起来;也可以继续 PyTorch 神经网络训练实战,一边做项目一边理解。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 换成五个参数时,更新的哪一步变了?
- 怎样用一条连线找出函数不凸的例子?
- 为什么要用同一份旧参数算完所有偏导数?
交流时可以带上:章节名、你的理解,以及遇到的现象。