1、RestNet网络1.1、RestNet网络结构ResNet提交于2015年，在ImageNet比赛的类功能任务中获得第一名。 由于它“简单实用”并存，此后许多方法都使用了在ResNet50或ResNet101的基础上完成的检测——“shortcut connection”连接方法。 顾名思义，shortcut是“抄近路”的意思。 此resnet的网络结构如下所示。
为每层输入创建参考(x )，然后学习创建残差函数，而不是学习没有参考(x )的函数。 该残差函数更容易优化，可以大大加深网络层数。 上图中的残差块有两个级别，如下式所示：
表示非线性函数ReLU。
然后，通过一个shortcut和第二个ReLU得到输出y。
如果需要更改输入维和输出维(如更改通道数)，可以在“结构”期间对x执行线性变换Ws，如下式所示：
但是，实验证明x是足够的，除非需求是特定维的输出，否则不需要进行维转换，如下图所示。 通道数加倍后，如下图所示。
从上图可以清楚地看到“实线”和“虚线”两种连接方式。 实线连接部分(第一个粉色矩形和第三个粉色矩形)都执行3x3x64的卷积，他们的通道个数一致，所以采用计算方式。
y=f(x ) x，虚线连接部分(第一个绿色矩形和第三个绿色矩形)分别是3x3x64和3x3x128的卷积操作，他们的通道个数不同(64和128 )，所以采用计算方式。 y=f(x ) Wx。 其中w是卷积操作，用于调整x的通道维。
在计算机视觉中，网络深度是实现网络良好效果的重要因素，输入特性的“等级”随网络深度的加深而提高。 但是，随着网络深度的加深，梯度方差/爆炸成为训练深层次网络的障碍，网络不收敛。 但是，一旦初始化，通过将各层的输入正规化，就可以将可收敛的网络的深度提高到10倍。 虽然网收敛了，但网开始退化（增加网络层数却导致更大的误差）。 下图：
从上图可以看出，通过在浅层网络中重叠y=x的层(identity mappings，恒等映射)，可以在不随深度恶化的情况下扩展网络。 这反映了多层非线性网络不能接近恒等映射网络。
但是，深度学习想要性能更好的网络，网络不退化不是我们的目的。 在RestNet网络中学习的残差函数是f(x )=h ) x )- x，这里如果f ) x )=0，则上述恒等映射(h ) x )=x )。 实际上，RestNet在“shortcut connections”的connections中是恒等映射下的特殊情况，没有引入额外的参数和计算复杂度。 当优化目标函数近似恒等映射而不是0映射(f(x )=0)或恒等映射时，学习并找到恒等映射扰动比重新学习映射函数更容易。
1.2、残差块的两个结构这是淡天鹅中的图，我们可以看到一个“弯曲的弧线”“这就是所谓的”shortcut connection”，并且文中提到了identity mapping，这个图也是RRR
这两种结构分别针对ResNet34 (左图)和ResNet50/101/152 (右图)，一般将整个结构称为一个“构建块”。 其中右图又称“bottleneck design”，目的是减少参数。 实际上，如在右图中所示，考虑到计算成本，计算优化残差块，并且用1x131x1替换两个3×3的卷积层。 新结构中中间的3×3卷积层首先降维，在1×1卷积层下减少计算，然后在另一个1×1卷积层下进行还原，在保持精度的同时减少了计算量。 第一个1×1卷积将256维通道降至64维，最后用1×1卷积恢复。 总体使用的参数为1x1x 256 x64 x 643 x 641 x 641 x64 x 256=69632，如果不使用bottleneck，则为两个3x3x256的卷积，参数为3360332
在常规ResNet中，可以在34层以下的网络中使用。 Bottleneck Design的ResNet通常用于更深的网络，如101，目的是减少计算和参数量。
1.3、ResNet50和ResNet101的简要说明这里专门提出ResNet50和ResNet101，但主要因为它们的使用率高，所以需要特别的说明。 给出了具体的结构
上表为Resnet的不同结构，上表共提出5个深度的Resnet，分别为18、34、50、101和152。 首先看表的最左侧，发现所有网络都分为五个部分，分别是conv1、conv2_x、conv3_x、conv1，例如101-layer列、101-layer为101 接下来经过3423=33的构造块，每个块有三层，所以有33 x 3=99层，最后有fc层(注： 101层网络仅指卷积层或全部连接层，激活层或轮询层为注意50层和101层这两列，conv4_x、ResNet50有6个块，而ResNet101有23个块，两者之间有17个块，即
！ 写博客不容易。 请发赞词。