点“看下一个动作”,从预测走到更新。
沿用工具课的小例子:输入3、答案10、初始参数w=2,学习率0.01。
前向预测2 × 3 = 6
输入是3,当前参数w是2。先得到预测6,参数保持不变。
当前:前向预测。参数先保持不变,算出预测。
- 1前向预测
输入经过网络,得到预测结果。
- 2对比答案
将预测与目标比较,得到损失。
- 3反向传播
从损失沿计算关系反向求出各个参数的梯度;此时参数不变。
- 4更新参数
优化方法根据梯度与学习率,更新权重和偏置;接着重新预测。
这是一次更新的数值示意。“重看这次更新”会回到w=2;不代表一次更新就能学会,或每次更新都必然降低损失。
图复用工具课的单参数示意,代码每轮还要先清旧梯度。前页的四样本程序会同时学习权重和偏置;这些图与编辑器各自操作。
换项目,沿用这条路线
下一个项目让网络学习一条sin曲线:
- 数据: 四对小数字,换成65对
x → sin(x)。 - 网络: 一个Linear层,换成四层MLP与激活函数。
- 优化器: SGD换成Adam;仍在
step()时更新参数。
训练动作不变,最后仍用新输入核对答案。 先沿用熟悉的流程,把精力留给这次变化的部分。
本章小结
用在哪:换数据、网络或优化器时,仍能沿着“清梯度 → 预测 → 损失 → 算梯度 → 改参数”检查程序。
再试一处:回到最小代码,先跑200轮,再改成20轮。输入1.5的对照答案始终是4;比较两次实际误差,观察后重置代码。跑完不等于学好,要核对新输入。
继续:神经网络训练实战,把这条路线再走一遍。
查用法:PyTorch官方训练循环。