本文介绍CNN的经典网络。 包括LeNet、AlexNet、VGG、谷歌net和ResNet。 与本文相关的一些概念，请参阅前面写的文章《CNN相关概念的理解》。LeNet
网络结构如下。
LeNet用于手写数字识别，输出包括10个类别，网络结构参数如下。
输入层： 13232图像
kernal size:55，parameters:(55 )6=156个，包含Conv1 Layer个过滤器
subsamplinglayer :平均轮询，大小： 22，活动： sigmoid
con v3 layer:kernal size:55，包含16个过滤器
subsamplinglayer :平均轮询，大小： 22
con V5层： kernal size:5*5，包含120个过滤器
fullyconnectedlayer:activation function:sigmoid
输出层： Gaussian connection
网络有两个缺点。 1、过度拟合。 2、计算量大。
AlexNet
网络结构如下。
与LeNet相比，AlexNet使用了以下优化策略：
1、数据增强。 包括水平翻转、随机裁剪、平移转换、颜色和照明转换。
2、激活函数ReLU。
3、Dropout，减少拟合。
4、多GPU并行计算。
但是，没有解决LeNet留下的计算量大、参数多的问题。 其中计算量集中在卷积层，参数集中在所有连接层。
VGG
网络结构如下。
网络变更如下。
1、使用卷积组。
2、卷积核变小，使用33个卷积核。
感受野：有2个33卷积核代替55卷积核，感受野相同。
最大池化层： pool_size=22，strides=2*2。
网络特征：输出特征图数量加倍，输出特征图维度尺寸加倍。
VGG网络践行了“神经网络越深越好”的理念。
补充填充的知识
“valid”填充3360否填充
“same”填充3360填充sothattheoutputdimensionisthesameastheinput
NIN
网络结构如下。
NIN网络引入了以下改进：
1、多层感知卷积
2、全球平均池化
3、去除参数多的全连接层，33卷积芯改为11
GoogleNet
网络结构如下。
卷积的inception结构如下：
inception v1加11后计算量减少，参数增加； 深度变深，非线性增加了。
inception v2的小卷积，将55置换为2个33，导入BN
inception v3体积积分解，77=71 17
谷歌net没有全连接层，而是有一层，应该从1024迁移到1000输出维。 全局平均池化维(7*7)取决于上一层输出特性图的维。
ResNet
网络结构如下。
残差网络的残差块结构可分为两类：
1、双层残差块。
2、瓶颈结构、三层残差块、层数增加，第一个11卷积核作用是减少计算量，第二个11卷积核作用是保持维数一致。
残差网络由五组残差块组成，每个inception的第一个模块shortcut需要在步骤2中进行降维。 其他模块是直接加法。 残差网络改善了梯度消失的问题。
总结：
1、网络结构越来越深，精度越来越高(性能) ) )。
2、卷积功能越来越强，精度越来越高(性能)。
3、计算和存储量不随网络层的增加而线性增长。 引入1*1卷积核，断开所有连接。
赛车每天赚1000的方法
3、去除参数多的全连接层，33卷积芯改为11
GoogleNet
网络结构如下。
卷积的inception结构如下：
inception v1加11后计算量减少，参数增加； 深度变深，非线性增加了。
inception v2的小卷积，将55置换为2个33，导入BN
inception v3体积积分解，77=71 17
谷歌net没有全连接层，而是有一层，应该从1024迁移到1000输出维。 全局平均池化维(7*7)取决于上一层输出特性图的维。
ResNet
网络结构如下。
残差网络的残差块结构可分为两类：
1、双层残差块。
2、瓶颈结构、三层残差块、层数增加，第一个11卷积核作用是减少计算量，第二个11卷积核作用是保持维数一致。
残差网络由五组残差块组成，每个inception的第一个模块shortcut需要在步骤2中进行降维。 其他模块是直接加法。 残差网络改善了梯度消失的问题。
总结：
1、网络结构越来越深，精度越来越高(性能) ) )。
2、卷积功能越来越强，精度越来越高(性能)。
3、计算和存储量不随网络层的增加而线性增长。 引入1*1卷积核，断开所有连接。