本文介绍CNN的经典网络。 包括LeNet、AlexNet、VGG、谷歌net和ResNet。 与本文相关的一些概念，请参阅前面写的文章《CNN相关概念的理解》。LeNet

网络结构如下。

LeNet用于手写数字识别，输出包括10个类别，网络结构参数如下。

输入层： 13232图像

kernal size:55，parameters:(55 )6=156个，包含Conv1 Layer个过滤器

subsamplinglayer :平均轮询，大小： 22，活动： sigmoid

con v3 layer:kernal size:55，包含16个过滤器

subsamplinglayer :平均轮询，大小： 22

con V5层： kernal size:5*5，包含120个过滤器

fullyconnectedlayer:activation function:sigmoid

输出层： Gaussian connection

网络有两个缺点。 1、过度拟合。 2、计算量大。

AlexNet

网络结构如下。

与LeNet相比，AlexNet使用了以下优化策略：

1、数据增强。 包括水平翻转、随机裁剪、平移转换、颜色和照明转换。

2、激活函数ReLU。

3、Dropout，减少拟合。

4、多GPU并行计算。

但是，没有解决LeNet留下的计算量大、参数多的问题。 其中计算量集中在卷积层，参数集中在所有连接层。

VGG

网络结构如下。

网络变更如下。

1、使用卷积组。

2、卷积核变小，使用33个卷积核。

感受野：有2个33卷积核代替55卷积核，感受野相同。

最大池化层： pool_size=22，strides=2*2。

网络特征：输出特征图数量加倍，输出特征图维度尺寸加倍。

VGG网络践行了“神经网络越深越好”的理念。

补充填充的知识

“valid”填充3360否填充

“same”填充3360填充sothattheoutputdimensionisthesameastheinput

NIN

网络结构如下。

NIN网络引入了以下改进：

1、多层感知卷积

2、全球平均池化

3、去除参数多的全连接层，33卷积芯改为11

GoogleNet

网络结构如下。

卷积的inception结构如下：

inception v1加11后计算量减少，参数增加； 深度变深，非线性增加了。

inception v2的小卷积，将55置换为2个33，导入BN

inception v3体积积分解，77=71 17

谷歌net没有全连接层，而是有一层，应该从1024迁移到1000输出维。 全局平均池化维(7*7)取决于上一层输出特性图的维。

ResNet

网络结构如下。

残差网络的残差块结构可分为两类：

1、双层残差块。

2、瓶颈结构、三层残差块、层数增加，第一个11卷积核作用是减少计算量，第二个11卷积核作用是保持维数一致。

残差网络由五组残差块组成，每个inception的第一个模块shortcut需要在步骤2中进行降维。 其他模块是直接加法。 残差网络改善了梯度消失的问题。

总结：

1、网络结构越来越深，精度越来越高(性能) ) )。

2、卷积功能越来越强，精度越来越高(性能)。

3、计算和存储量不随网络层的增加而线性增长。 引入1*1卷积核，断开所有连接。

赛车每天赚1000的方法

3、去除参数多的全连接层，33卷积芯改为11

GoogleNet

网络结构如下。

卷积的inception结构如下：

inception v1加11后计算量减少，参数增加； 深度变深，非线性增加了。

inception v2的小卷积，将55置换为2个33，导入BN

inception v3体积积分解，77=71 17

谷歌net没有全连接层，而是有一层，应该从1024迁移到1000输出维。 全局平均池化维(7*7)取决于上一层输出特性图的维。

ResNet

网络结构如下。

残差网络的残差块结构可分为两类：

1、双层残差块。

2、瓶颈结构、三层残差块、层数增加，第一个11卷积核作用是减少计算量，第二个11卷积核作用是保持维数一致。

残差网络由五组残差块组成，每个inception的第一个模块shortcut需要在步骤2中进行降维。 其他模块是直接加法。 残差网络改善了梯度消失的问题。

总结：

1、网络结构越来越深，精度越来越高(性能) ) )。

2、卷积功能越来越强，精度越来越高(性能)。

3、计算和存储量不随网络层的增加而线性增长。 引入1*1卷积核，断开所有连接。