leNET
5层卷积层，卷积稀疏连接减少参数。 卷积三层序列组合：卷积、下采样（池化）、线性映射（LeNet-5最重要 前深层卷积网络的特点奠定了基础) 卷积提取空间特征 使映射的平均空间进入下采样 使? 或 线性映射进入 多层神经络（MLP）作为最终的分类器 层间稀疏连接矩阵，避免巨大的计算费用
AlexNET
5层卷积层 所有的卷积层都使所有的卷积层都使ReLU作为线性映射函数，模型收敛速度更快 在多个GPU上进模型的训练不仅能提高模型的训练速度，还能提高数据的规模 使?LRN将局部特征归化为结果ReLU激活函数的输送可以有效降低错误率 最重叠的池化（overlapping max pooling），即池化范围z与步?s存在关系 （如 中核尺度为 ），避免平均池化（average pooling）的平均效应 随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合
VGGNET
整个网络使卷积核尺相同 和最池化尺和最池化尺 。 - 卷积的意义 主要在于线性变换，输出通道数和输出通道数保持不变，未发送降维。 两个 卷积层串联相当于一个5x5 卷积层，感受野 。同样地，3个 卷积层串联的效果相当于一个7x7 卷积层。这种连接式使得络参数量大 多层激活函数使网络特征的学习更强。 VGGNet训练时有一个技巧，先训练浅层的简单络VGG11，再复?VGG11的权重来 初始化VGG13反复训练，初始化VGG能使训练时收敛更快。 在训练过程中，多尺度的变换增强了原始数据模型不易过度拟合。
GoogleNET
inception 多尺寸卷积核感知不同视野范围的特征，最后通过堆叠concat的方式进行特征融合 不同的卷积核意味着不同的感觉野，最终拼接意味着不同尺度特征的融合； 卷积核采1、3、5的原因主要是为了方便。设置卷积步stride=1之后，只要 分别设定pad=0、1、2，卷积后可获得相同维度的特征，然后可获得这些特征 直接拼接起来； ?随着层数的增加，特征越抽象，每个特征所涉及的感觉野也越多 加，3x3和5x还应增加5卷积的例子。然而，使5卷积x5的卷积核仍然会带来巨大的计算量。 为此，章借鉴NIN2，采?1x1卷积核来进降维。
RESNET
借鉴VGG-19.不同的是，网络退化的问题是通过残差来解决的。