同一个模型,训练和生成在做什么?
把结构、训练和评估放回同一张知识地图。
15–20 分钟
学完这章,你能
- 串起序列、注意力与语言模型
- 区分预训练、微调和偏好优化
- 找到官方实现与原始论文
先看懂一次输入如何变成下一个词,再把小模型跑通。复杂系统,也是由这些能核对的小步骤组成的。
训练用目标来改参数,生成把选出的词元接回输入。 把这两条路线分清,就能看懂模型在“学什么”和“怎么接着写”。
两条路线使用模型的分数,但接下来的动作不同。图里表示一次主要动作,不包含完整训练工程的所有步骤。
把结构接成一条学习路线
- RNN/GRU/LSTM:沿时间传递状态。GRU用两扇门控制更新;LSTM还带一份记忆c。
- 注意力/Transformer:让当前位置读取有用的上下文,再加工特征。
- 语言模型:用已有词元预测下一个;因果遮罩防止偷看未来。
- Qwen研读:对照固定型号的配置、形状与源码,把部件接起来。
把训练方法放回各自的位置
- 预训练:从语料中学习词元之间的规律。
- SFT:用指令和示范回答,学习如何响应任务。
- LoRA:训练时固定原权重,只训练少量新增参数;它可配合SFT使用,不提供示范样本。
偏好优化和复现边界,再核对一次
DPO使用成对偏好构造优化目标;PPO、GRPO等方法各有采样、奖励与更新流程。沿后训练章节逐项对照,不把所有方法当成同一条流水线。
小型教学实现用于看懂和核对计算。接通结构,还需要训练数据、权重、算力和评估,才能讨论实际能力。
先选一个具体问题,改一处,再核对结果。 不必同时重看整册。
用三个结果验收自己
- 能复现:固定数据、种子与配置,跑通并保存一个小模型。
- 能验证:用保留数据检查输出,判断是否只记住了训练内容。
- 能解释:只改一个设置,记录前后结果、代价和局限。
到完结篇选一个下一步目标,再进入实战。
第一次读资料,只对上一张图、一次输入输出就够了。 先固定型号和版本,再沿着问题查代码。
官方入口
三篇原始论文,分别解决一个问题
读懂一个小地方,回到代码里试一次。这样来回核对,比一次读完更容易留下理解。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 预训练、微调和后训练应该怎样连成一条路线?
- 读懂一个大模型结构后,怎样开始自己的小实验?
- 模型看起来能聊天了,还需要怎样评估它?
交流时可以带上:章节名、你的理解,以及遇到的现象。