2015年,ResNet家族赢得ImageNet分类挑战赛。 它用残差连接改善深层网络的优化:一条路做卷积,另一条路把输入直接送到后面相加。下面以较短的 ResNet18 看结构。原论文
先看下方的加号:卷积分支和捷径在哪里汇合?
先看下方放大的基本块:一路做两层卷积,一路绕到加号,两路在那里相加。图中的“下采样”就是缩小特征图;宽高或通道数改变时,捷径也要对齐。
残差可以先理解为“在原有特征上,加一份调整”。 假设输入是2,卷积分支算出0.3,两路相加得到2.3,再经过ReLU。这里只用一个数说明;真实网络加的是同shape特征图的对应位置。
记住ResNet
不只把网络叠深,还让信息和梯度多一条路。 这条捷径,成为后续深层网络的重要设计。
从AlexNet的突破,到VGG的整齐堆叠,再到ResNet的残差连接。下一章迁移学习,看看怎样借用已经训练好的网络。