继续用4×4输入、3×3输出,所有方案都带偏置:
- 全连接: 每个输出看全部16个输入。9个输出各有一套:16×9个权重 + 9个偏置 = 153个参数。
- 只看局部: 每个输出只看附近4个输入,但参数各用各的:4×9个权重 + 9个偏置 = 45个参数。
- 局部又共享: 9个位置用同一套:4个权重 + 1个偏置 = 5个参数。
153 → 45:每个位置少看一些输入。45 → 5:不同位置复用参数。 两步的作用不同;参数少也不代表对所有任务都更好。
本章小结
MLP的各个输出单元各有一套权重;卷积层在不同空间位置复用同一套核。 下一章卷积层与权重共享(中),用动画看多个输入、输出通道如何一起计算;再进入下章的代码实现。