从三个小数字,看懂参数在做什么
先抓住本质,别被名字吓住。
10–15分钟(含一次改参练习)
学完这章,你能
- 分清网络结构、参数与训练
- 用小数字解释模型怎样预测
- 说明为什么网络效果要用实验检验
先看输入1怎样得到输出3,再看2怎样得到5。抓住几个小数字的变化,就能给“模型”和“训练”找到位置。
模型接收数字,做一串运算,再输出预测。结构规定怎么算、怎样连接;参数决定运算里的具体数值。
先取网络里最简单的一段:每个输入乘2,再加一个偏置。目标是把1、2、3分别变成3、5、7。
输入相同,只改一个偏置都乘2,还没有加偏置
每个预测都比目标少1。三条样本使用同一个权重2、偏置0。
每个乘积都加1
只把共用的偏置从0改成1,这三条预测就与目标一致。这里只手动试参数,不是自动训练。
点“下一步”,看共用的偏置从0变成1时,整批预测怎样一起改变。用数据寻找合适参数,才叫训练;这里先手动试一组数,看懂它的目标。
自己运行,再只改偏置
上面的演示把偏置从0改成1;下面反过来试1→0,二者分别操作。
只改一个偏置,核对三个预测
- 先运行,保持
bias = 1,三个预测应依次是 3、5、7。 - 只把
bias = 1 改成 bias = 0:预测应变成 2、4、6,每个都少1,输入仍是1、2、3。 - 点“重置代码”再运行,应回到偏置1、预测3、5、7。
先读绿色注释,再改一个数字,运行后核对结果。
输入时自动提示 · Ctrl + Space 查看补全 · Ctrl / ⌘ + Enter 运行
点击运行,查看结果
还没有运行。先预测结果,再点击运行。
这就是一个完整神经网络吗?
它只是网络中的一个简单线性片段,帮助区分结构、参数和预测。真实网络会把许多计算单元与合适的非线性变换连接起来。
参数确定后,换成新输入4可以预测出9;没有给它真实答案时,还不能说预测一定正确。下一步会讲为什么增加规模也不能代替检验。
这一小步,你做到了
结构是计算的连接方式,参数是可以调整的数。 你已经让一组参数同时处理三个输入,并亲手核对了偏置的作用。
上一章,单个线性分界做不了异或。两个简单判断配合非线性,再接一个输出判断,就能完成它。
更多参数提供更大的表达空间;结构、数据和训练决定它怎样发挥作用。 只堆数量,不保证效果更好。
官方大模型有多少参数?看数量级即可
1B是10亿,1T是1万亿。以下是官方公开的例子,不是模型效果排名。
这些混合专家模型准备多组参数,处理一个词元(文字片段)时调用其中一部分。因此,总参数与每词元激活的参数要分开看。
数字按官方资料核对于2026-11-11;Qwen两行是语言模型部分的统计。具体结构放到后面的模型章节。
本节小结
局部计算可以很简单,合适的组合能表达更复杂的关系。 规模不是效果保证,接下来要让数据检验它。
结构先设计,训练找参数,预测做计算,效果靠检验。 方案是否合适,需要实验比较,不能只看网络名字。
三份数据,各做一件事
- 训练数据 用来调整参数。
- 验证数据 用来比较结构、选择方案。
- 测试数据 方案确定后,做一次独立的最后检查。
不要反复用测试结果挑方案,否则它也参与了选择。一次检验通过,只说明方案在这次任务与数据范围内可行。数据划分参考。
同一条规则处理不同输入,结果要用数据检验。
先用默认数,再试一处变化。
输入相同,只改一个偏置都乘2,还没有加偏置
每个预测都比目标少1。三条样本使用同一个权重2、偏置0。
每个乘积都加1
只把共用的偏置从0改成1,这三条预测就与目标一致。这里只手动试参数,不是自动训练。
点“下一步”,看同一个偏置0→1时,三条预测怎样一起改变。这是手动设数的回顾示意,不是自动训练;与前面演示、编辑器各自操作。
带着这个本领继续
用在哪:读一个模型时,先找输入、计算连接、参数和预测。训练数据调参数,验证数据选方案,测试数据作最后独立检查;规模不保证效果。
再试一处:回到代码,先运行得到3、5、7;只把bias从1改成0,应得到2、4、6。三个输入仍是1、2、3。
回到本章实验 · 继续:线性代数(上)
按需查参考资料,先找这次遇到的那一部分。