导数 · 先看懂一条最简单的坡
从一条曲线,到两个方向的坡度。
25–40分钟(选读)
学完这章,你能
- 用小数字看懂导数
- 按坡度反方向更新一个参数
- 理解偏导数与两个参数的梯度
先从2乘2等于4开始,只观察往哪边会变小。需要时暂停动画,跟着一个参数一步一步走。
从 x = 2 往右挪,坡有多陡?把滑块里的距离 h 从 1 拖到 0.01。 看两点靠近时,平均坡度怎样从 5 变成 4.01。
拖一拖:平均坡度怎样接近导数绿色曲线:x² 实线:两点的割线 虚线:A 点的切线
挪动 h = 1平均坡度 = 5导数 = 4
(9 − 4) ÷ 1 = 5
h 越接近 0,两点越靠近,平均坡度 4 + h 越接近导数 4。现在 B 的坐标是 (3, 9)。
可以直接拖动滑块,也可以播放;暂停后可继续手动探索。
导数是当前位置的坡度。 在 x = 2 处是 4,表示往右是上坡。在 x = −2 处是 −4,往右就变成下坡。图上有两根轴,我们只调整 x 一个数。
选读:从小挪动推到2x
二维图,其实只有一个数可以调
从 f(x) = x² 开始。x² 就是 x × x,f(x) 就是把 x 放进去后算出的结果。
把 x 画在横轴,f(x) 画在纵轴,就得到一条开口向上的碗形曲线。最低点在 x = 0,函数值是 0。 因为平方不会小于 0,这个最低点可以直接确认。
这里说的“二维”,指画图用了两根坐标轴。真正需要调整的参数只有 x 这一个数。后面说“任意维”,指的是可调整参数的个数,要把这两个意思分清。
导数,就是当前位置的坡度
站在 x = 2。往右挪一点,函数值会增加;往左挪一点,函数值会减少。我们需要一个数,告诉自己“往右走,函数值变化得有多快”。这个数就是导数。
先算一小段路的平均坡度:函数值增加了多少 ÷ x 增加了多少。
- 从 2 走到 3:
(9 − 4) ÷ 1 = 5。 - 从 2 走到 2.1:
(4.41 − 4) ÷ 0.1 = 4.1。 - 从 2 走到 2.01:
(4.0401 − 4) ÷ 0.01 = 4.01。
挪动距离越来越小,坡度越来越接近 4。导数描述的就是这种“把挪动距离缩得无限小”之后的瞬时变化率。写作 f′(2) = 4,读作“f 在 2 处的导数等于 4”。
只推导一次:x² 的导数是 2x
把挪动的一小段距离叫 h。比如 h = 0.1,意思是从 x 走到 x + 0.1。先让 h 不等于 0,才能做除法。
这只用了乘法展开:(x + h)² = x² + 2xh + h²。减去原来的 x²,再除以 h,就剩 2x + h。
当 h 越来越接近 0,结果越来越接近 2x。所以:
本节小结
函数值是“现在有多高”,导数是“往右走时,坡有多陡”。对 x² 来说,导数就是 2x。
知道坡度后,下一节只做一次减法,就能走向低处。
从同一个起点,分别用 0.25、1 和 1.1 走两步。 点击图上方的快捷按钮。先盯住圆点,再看函数值是变小、持平,还是变大。
二维曲线:沿着 x² 走向最低点
目标函数 f(x) = x²;最低点 x = 0。 改选项会重新开始。
同一起点,各走两步
当前位置:2;函数值:4
先看起点,再点“下山一步”,核对每个数怎样更新。
虚线连起每次落脚的位置。到达新位置后,再更新步数和读数。
新位置 = 旧位置 − 学习率 × 当前导数。 减号让你朝坡度的反方向走,学习率 α 决定一步走多远。
展开:这一步怎样手算
从 x = 2、学习率 α = 0.25 开始:
- 算当前位置的坡度:
2 × 2 = 4。 - 算移动的距离:
0.25 × 4 = 1。 - 向反方向更新:
2 − 1 = 1。 - 核对函数值:原来是
2² = 4,现在是 1² = 1,确实变小了。
下一步要在新位置重新算导数:x = 1 时导数是 2,所以 1 − 0.25 × 2 = 0.5。再下一步到 0.25。位置不断靠近 0,函数值也不断靠近 0。
选读:换到左边,还能往下走吗?
把起点换成 −2,学习率选 0.25,点「下山一步」。−2 − 0.25 × (−4) = −1,减去负数相当于加,这次向右走。
在 x² 这个例子里,固定学习率在 0 和 1 之间时,从任意起点出发都能收敛到 0。0.5 恰好一步到 0。演示最多走 12 步,也会在达到精度或超出展示范围时停止。读数显示到小数点后最多六位,计算时保留原精度。
本节小结
每一步都先在旧位置求导,再减去“学习率 × 导数”。用本例 α = 0.25,走出 2 → 1 → 0.5,函数值走出 4 → 1 → 0.25。
有两个参数时,只需分别看两个方向的坡度。
现在有 x、y 两个数要调。在图上分别点「只动 x」和「只动 y」。 两次都从 (2, 1) 看起,注意哪一个数被固定,哪一条线亮起来。
三维曲面:两个方向,一起往下走
目标函数 f(x,y) = x² + y²;起点 y = 1,最低点 (0,0)。 改选项会重新开始。
固定 y = 1。沿 x 方向的坡度是 4。
当前位置:2, 1;函数值:5
先看起点,再点“下山一步”,核对每个数怎样更新。
虚线连起每次落脚的位置。到达新位置后,再更新步数和读数。
偏导数,是固定其他输入后沿一个方向看的坡度。 这里两个方向的坡度是 4 和 2。点一次「下山一步」,用同一处的两条坡度把位置更新为 (1, 0.5),函数值从 5 降到 1.25。
选读:偏导数与同时更新的计算细节
对 x 求偏导:把 y 当成固定的数
先站在 (2, 1),函数值是 2² + 1² = 5。只动 x,把 y 固定为 1,函数就成了 x² + 1。
常数 1 不随 x 变化,所以它对 x 的变化率是 0。前面已经知道 x² 的导数是 2x,因此对 x 的偏导数就是 2x。
也能用同一套小挪动推导:
让 h 越来越接近 0,得到 2x。没有出现新的求导技巧,还是刚才那次平方展开。
对 y 求偏导:这回把 x 固定
现在固定 x = 2,只动 y,函数变成 4 + y²。固定的 4 不影响变化率,所以对 y 的偏导数就是 2y。
符号 ∂f/∂x 读作“f 对 x 的偏导数”。“偏”就是只考察其中一个输入,其他输入保持不变。 在 (2, 1) 处,两个方向的坡度分别是 4、2。
梯度:把这些坡度装进一个列表
把对 x、对 y 的偏导数按顺序放在一起,就是梯度,写成 ∇f,读作“f 的梯度”。在这个例子里,它是 (2x, 2y);在 (2, 1) 处,它是 (4, 2)。
学习率继续用 0.25,都从同一个旧位置 (2, 1) 计算:
- 新 x:
2 − 0.25 × 4 = 1。 - 新 y:
1 − 0.25 × 2 = 0.5。 - 新函数值:
1² + 0.5² = 1.25,比原来的 5 小。
再了解一点:微分怎样估计变化
偏导数与微分,只多理解这一点
偏导数是变化率;微分是用变化率估计一小段变化。 比如在 (2, 1) 处,保持 y 不变,让 x 增加 0.01,函数值大约增加 4 × 0.01 = 0.04;实际增加的是 0.0401。
如果 x、y 都各增加 0.01,两个方向的影响相加,估计增加 4 × 0.01 + 2 × 0.01 = 0.06,实际增加 0.0602。差别来自平方中的小量;变化越小,这种局部线性估计越准确。
先把“每次固定其他数,求一个方向的变化率”学会,就足够理解本章的梯度下降。微分、极限的完整理论可以以后慢慢补。
本节小结
偏导数是单个方向的坡度,梯度把所有方向的坡度放在一起。更新 x 和 y,用的是同一旧位置算出的梯度。
三维图已经看懂,更多参数也只是把这个列表加长。
接着进入梯度下降法:从二维下山到任意维(下),学习任意维、凸优化、代码与小结。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 走下坡为什么可能错过最低点?
- 学习率太大或太小,各会出现什么现象?
- 参数很多时,每个参数该朝哪个方向调整?
交流时可以带上:章节名、你的理解,以及遇到的现象。