- 结构已定: 有了一个带未知参数的数学函数。
- 数据已知: 输入与目标输出给出学习的依据。
- 反复逼近: 反向传播算梯度,优化方法更新参数。
在训练集上误差变小,还需要用没参与训练的数据检验,才能知道是否学到了可以应用的规律。
想了解计算细节,再看这些
这些是选读,不影响继续学习。链接中的文章与视频为英文,可结合可用字幕阅读。
- 动画视频: 3Blue1Brown · 梯度下降,神经网络如何学习,观察参数怎样移动;另有配套图文。
- 免费图文与动手: 梯度下降法:从二维下山到任意维,从小数字理解坡度,再看二维与多维。
- 动画视频: 3Blue1Brown · 直观理解反向传播,观察梯度怎样传回去;另有配套图文。
- 公式推导: 3Blue1Brown · 反向传播中的微积分,需要推导时再看。
- 代码对照: PyTorch 官方 · 优化模型参数,对照backward与step的分工。
本章小结
能分清“算梯度”和“改参数”,就可以继续。 下一章优化器与学习率,先学会用实验比较配置,再进入固定训练流程。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 网络结构确定后,训练究竟还在改变什么?
- 反向传播和更新参数,是同一个动作吗?
- 训练损失一直下降,就一定能得到最好的模型吗?
交流时可以带上:章节名、你的理解,以及遇到的现象。