这是可选的补全练习。代码里特意留了一行提示;先运行定位,再只替换这一行。输入应对应“我爱小猫”,目标应对应“爱小猫。”。
只补一行:让目标向后错开一位
PyTorch先读代码注释,再运行;下方显示这次实际计算的结果。
查看错误详情
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
文字输出
还没有运行。先读代码注释,再点击运行。
补好后,和这两行核对
把提示那一行替换为targets = ids[:, 1:]。冒号保留这个样本,1:表示从第二项开始取,直到末尾。
输入在上,目标在下;两行都为4项 A2 × 4只读
1234
12
行列索引从 1 开始
如果模型总在循环,还可以检查哪里?
先检查输入和目标是否错开一位、每行机会是否加起来为1、过滤后是否至少留一项、是否有句号或新字数上限。流程都对了,再区分小模型能力和程序错误。低温与候选过滤并不保证内容正确。
学完这一章,你也有这些疑惑吗?
先把问题留下,带着自己的理解继续交流。
- 同一个提示词,为什么可能生成不同的结果?
- 降低温度能让模型读到更早的文字吗?
- 怎样区分生成流程错误和Bigram模型本身的局限?
交流时可以带上:章节名、你的理解,以及遇到的现象。