上册学过的,其实是一条主线
从一份数据,到一个能检查、能改进的小模型。
15–20 分钟
学完这章,你能
- 串起数据、预测、误差、更新与评估
- 找到需要回看的课程
- 选择下一份进阶资料
能解释一个小模型怎样进步,就已经抓住主线。忘掉的细节,回看一小步就能接上。
用一杯茶的时间,整理学过的知识,找到下一步。能说清一个小例子,比一次背住所有术语更有用。
一张图,串起四个动作
输入3、目标10、参数从2开始,学习率0.01。 顺着箭头,把四步连起来。

这是一次参数更新的小数字示意。更新后仍要重新预测,再与目标比较。
用数字再走一遍:每次只看一个动作
点“看下一个动作”,观察预测、损失、梯度和参数的变化。
一次参数更新,四个动作;整批样本共用同一组参数沿用工具课的小例子:输入3、答案10、初始参数w=2,学习率0.01。
前向预测2 × 3 = 6
输入是3,当前参数w是2。先得到预测6,参数保持不变。
当前:前向预测。参数先保持不变,算出预测。
- 1
- 2
- 3
反向传播从损失沿计算关系反向求出各个参数的梯度;此时参数不变。
- 4
更新参数优化方法根据梯度与学习率,更新权重和偏置;接着重新预测。
这是一次更新的数值示意。“重看这次更新”会回到w=2;不代表一次更新就能学会,或每次更新都必然降低损失。
反向传播算出梯度−24时,参数仍是2;执行更新后,参数才变成2.24。 一轮完整训练会遍历训练集,通常包含多次这样的更新。
Python 组织数据,Tensor 装数字,shape说明维度。之后就是 预测 → 损失 → 反向传播 → 更新;CNN换了图片特征的提取方式,训练主线仍然相同。
训练集用于学习,验证集帮助选方案,测试集留给最终检查。 用没参与训练的数据,才能检查模型能否应对新样本。
现在,你能接上哪些事情
- 整理输入:说清图片或表格的shape、标签和数据划分。
- 读懂训练:找到预测、损失、清梯度、反向传播和参数更新。
- 选择视觉任务:分类回答“是什么”,检测还要回答“在哪里”。
能把一个小例子的四步说顺,就抓住了主线。独立交付模型还需要真实数据与错误分析;下一步可以只补一个薄弱点。
找到自己的下一小步
- 读不懂输入输出 → 回看张量与 PyTorch,给每一步写出 shape。
- 知道代码,不明白参数为什么变 → 回看反向传播,只追踪一个参数的梯度。
- 模型学不好,没法定位原因 → 回看训练流程与评估,先检查划分、损失与验证结果。
- 图片模型的尺寸总算错 → 回看卷积与卷积层,用内置矩阵演示逐格核对。
给自己一个小验收
选两类感兴趣的图片,写清五件事:输入、标签、模型、数据划分、验收标准。 用最小模型跑通一次,保留判断错的图片。
先解释清楚,再追求更高分。下一册会把同一条训练主线,延伸到序列、注意力和语言模型。
两个常用进阶入口
- PyTorch 官方:Learn the Basics。按 Tensors → Autograd → Optimization 阅读,用来核对张量、自动求导与训练循环。先运行小例子,再改一个参数。
- 《动手学深度学习》中文版。作者 Aston Zhang、Zachary C. Lipton、李沐、Alexander J. Smola。先选数据操作、多层感知机、卷积神经网络三个主题,作为更系统的补充。
原始论文,从图和问题开始读
He, Zhang, Ren & Sun(2015):残差网络论文。先看残差连接图,想一想“这条捷径把什么送到了后面”。暂时不必复现整篇实验。
Dropout与BN的原始来源
这些链接是原始文献或作者维护的资料。资料中的完整环境与大规模训练,需要根据设备另行准备;本课程网页实验适合先核对小规模结果。
到这里,先把“数据如何让参数进步”说顺。下一节后续如何提高,整理了对应的PyTorch教程、B站视频与论文实践路线;选一条继续就好。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 从 Tensor 到训练循环,哪些概念值得再练一遍?
- 面对新任务,怎样判断该先选哪一种网络?
- 怎样知道自己已经可以继续学习语言模型?
交流时可以带上:章节名、你的理解,以及遇到的现象。