两只开关,一盏灯
两只开关,一盏灯,从一个判断到一层网络。
15–20 分钟(含交互观察)
学完这章,你能
- 看懂单层为什么无法判断异或
- 用两个简单判断组合出一个网络
- 理解算力怎样推动更大规模的训练
始终看同样四组输入。多一层,看看结果怎样改变。
上一章,一个感知机做一次判断。现在让它控制楼梯灯:两只开关状态不同,灯亮;状态相同,灯灭。 0 表示关或灭,1 表示开或亮。这条规则叫异或(XOR)。
同一组参数,核对全部输入| 输入 | 目标 | 输出 | 对照 |
|---|
| (0, 0) | 0 | 0 | 一致 |
|---|
| (0, 1) | 1 | 1 | 一致 |
|---|
| (1, 0) | 1 | 1 | 一致 |
|---|
| (1, 1) | 0 | 1 | 分错 |
|---|
当前分对 3 / 4;标有叉的点分错了。数字是目标类别。
分数 = 1 × x₁ + 1 × x₂ − 0.5;分数 ≥ 0 时输出 1,否则输出 0。
看看两个规则,各漏掉哪一组
- 至少一个开 点同名按钮。两只都开时,模型输出1,但异或要求灯灭、输出0。
- 不能两个都开 点这个按钮。两只都关时,模型也输出1,仍与异或要求的0不同。
它们各分对3组。自己调直线也一样:两类点交错在对角线上,一条直线分不开。
这不是还没找到好参数,而是单层结构做不到。下一节,把刚才的两个判断接起来。
异或和或非,是同一条规则吗?
不是。异或要求状态不同才输出1;或非(NOR)只在两只都关时输出1,单层就可以实现。这里展示的是异或的局限。
本节小结
这一结构解决不了异或,继续乱试参数也不会四组全对。 下一步把两个简单判断组合起来。
让两个感知机各做一件事:① 至少一个开关打开;② 不能两个都打开。 再加一个感知机:两个条件都满足,才让灯亮。
h₁:至少一个开
h₂:不能两个都开
输出:两个条件都满足,灯才亮。
点上方切换开关,或播放一次计算。
h₁ = H(0 + 1 − 0.5) = 1
h₂ = H(−0 − 1 + 1.5) = 1
ŷ = H(1 + 1 − 1.5) = H(0.5) = 1
H 表示:分数 ≥ 0 输出 1,否则输出 0。上方参数预先给定,只演示前向计算,不演示学习。
同一个网络,核对全部输入| 输入 | 目标 | 输出 | 对照 |
|---|
| (0, 0) | 0 | 0 | 一致 |
|---|
| (0, 1) | 1 | 1 | 一致 |
|---|
| (1, 0) | 1 | 1 | 一致 |
|---|
| (1, 1) | 0 | 0 | 一致 |
|---|
输入 → 隐藏层 → 输出层:前一层的结果,交给下一层继续判断。这就组成了一个多层感知机(MLP),也是一种神经网络。
选两组输入,再去掉一次判断
- 选0、1 点上方对应样本。两个隐藏条件都是1,输出1,灯亮。
- 选1、1 “至少一个开”为1,“不能两个都开”为0,输出0,灯灭。
- 切回0、1 勾选“去掉隐藏层的阈值判断”。本例的四个输出都变成0,原本亮的灯也灭了。
只有层数还不够,也需要合适的非线性变换。 本例用阈值判断;现代网络常用的激活函数,后面再学。
本节小结
先拆成简单判断,再逐层组合。 一个隐藏层,就能让四组异或输入全部正确。参数已给定;怎样学习参数,后面再讲。
多层扩展能力,学习寻找参数,算力让大规模训练成为可能。
网络越大,要算的乘加越多;学习还要反复计算、反复调整参数。先播放:同样一批计算,增加并行单元会怎样?
每格是一份独立计算。一次可同时处理1份,或4份。
理想并行示意,不是 CPU/GPU 实测。实际还受显存、数据传输与任务是否能并行的影响。
4个单元每轮各处理1份,4轮完成16份;1个单元要16轮。这是理想的任务分配,不是真实设备的速度倍数。
能表示一种关系,还要找到参数、把训练算完。更多数据、更合适的训练方法,也会影响结果。
从感知机到GPU训练:发展节点与原始资料
早期:一层不够用
异或暴露了单层的局限。多层可以扩展表达,但参数更多,怎样找到它们又成了难题。教材
1986:能学了,还要算很久
反向传播帮助计算多层参数的调整方向。可硬件有限,大网络训练慢。论文
2012:GPU 把更多计算并行起来
AlexNet 用两块 GTX 580,训练约 5–6 天。GPU 算力、更多数据与训练技巧一起推动突破。论文
后来:更深、更大,也有新的瓶颈
ResNet 改善了深层网络的训练困难;大模型又遇到算力、显存和多卡通信的限制。硬件与方法要一起进步。ResNet · 规模研究
隐藏层先拆问题,输出层再组合答案。
先用默认数,再试一处变化。
h₁:至少一个开
h₂:不能两个都开
输出:两个条件都满足,灯才亮。
点上方切换开关,或播放一次计算。
h₁ = H(0 + 1 − 0.5) = 1
h₂ = H(−0 − 1 + 1.5) = 1
ŷ = H(1 + 1 − 1.5) = H(0.5) = 1
H 表示:分数 ≥ 0 输出 1,否则输出 0。上方参数预先给定,只演示前向计算,不演示学习。
同一个网络,核对全部输入| 输入 | 目标 | 输出 | 对照 |
|---|
| (0, 0) | 0 | 0 | 一致 |
|---|
| (0, 1) | 1 | 1 | 一致 |
|---|
| (1, 0) | 1 | 1 | 一致 |
|---|
| (1, 1) | 0 | 0 | 一致 |
|---|
仍看同样四组开关。这里的参数已经给定,先验证计算;与前面那张图各自操作。
带着这个本领继续
用在哪:把单层做不到的关系,拆成能组合的小判断。多层要配合非线性;数据、训练方法与算力也会影响实际效果。
再试一处:先选(0,1),灯应亮;再选(1,1),灯应灭。切回(0,1),勾选“去掉隐藏层的阈值判断”,灯会灭;取消勾选,应恢复。
回到本章实验 · 继续:白话神经网络本质
按需查参考资料,先找这次遇到的那一部分。