只保留模型权重,能精确接着训练吗?
不能恢复完整原轨迹。AdamW历史、累计步数、原数据/词表、最佳记录和采样状态也要恢复;否则即使初始权重相同,下一次更新也可能不同。
这道练习可选,代码故意留了一行报错。先运行定位,再只补targets这一行,让它从sequence的第二项开始取;原输入不改。分区显示时,点“右列”核对最后的EOS。
一行小作业:把目标向后错一位
PyTorch先读代码注释,再运行;下方显示这次实际计算的结果。
查看错误详情
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
文字输出
还没有运行。先读代码注释,再点击运行。
核对这一行
把占位报错替换为targets接住sequence的第二列到最后一列;切片从1开始。运行后,两边shape都应为(1,5),targets依次对应爱、小、猫、句号、EOS。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 做过的题越来越好,留出的句子也一定变好吗?
- 为什么保留的最佳模型不一定是最后一步?
- 暂停以后,要保存什么才能接着原来的训练继续?
交流时可以带上:章节名、你的理解,以及遇到的现象。