自从AlexNet一举赢得ILSVRC 2012 ImageNet图像分类竞赛以来，卷积神经网络（CNN）的热潮席卷了整个计算机视觉领域。 CNN模型已迅速取代了传统的手工特征和分类器，不仅提供了端到端的处理方法，而且极大地刷新了每个图像竞赛任务的准确性，甚至超越了人眼的准确性（LFW人脸识别任务） ）。当CNN模型不断逼近计算机视觉任务的精度极限时，其深度和大小也呈指数增长。表1几个经典模型的大小，计算量和参数数量比较模型模型大小（MB） VGG16 [2]＆amp; gt; 500＆amp; nbsp; 15300＆amp; nbsp; GoogleNet [3]＆amp; nbsp;〜50＆amp; nbsp; IncepTIon-v3 [4]＆amp; nbsp; 90-100＆amp; nbsp; 5000＆amp; nbsp; 6.8＆amp; nbsp; IncepTIon-v3 [4]＆amp; nbsp; 90-100＆amp; nbsp; 5000＆amp; nbsp; 5000＆amp; nbsp; 23.2后面是一个非常令人尴尬的场景：仅是一个如此巨大的模型它只能在有限的平台上使用，根本不能移植到移动和嵌入式芯片上。即使您要通过网络传输，高带宽使用率也使许多用户望而却步。另一方面，大尺寸型号也对设备的功耗和运行速度提出了巨大的挑战。因此，这样的模型还远远不实用。在这种情况下，模型的小型化和加速已成为亟待解决的问题。实际上，早期学者提出了一系列的CNN模型压缩方法，包括修剪和矩阵SVD分解，但压缩率和效率远不能令人满意。近年来，从压缩的角度来看，用于模型小型化的算法可以大致分为两类：从模型权重的数值角度来看的压缩和从网络体系结构角度来看的压缩。另一方面，考虑到计算速度，可以分为：仅压缩大小，并且在增加速度的同时压缩大小。本文主要讨论以下代表性的文章和方法，包括SqueezeNet [5]，深度压缩[6]，XNorNet [7]，DisTIlling [8]，MobileNet [9]和ShuffleNet [10]。您也可以按照上述方法进行一般分类：表2几种经典的压缩方法及其比较方法XNorNet＆quot;重量＆amp; nbsp;是＆amp; nbsp;架构＆nbsp;否＆amp; nbsp;体系结构是1. SqueezeNet1.1设计思想SqueezeNet是2016年论文“ SqueezeNet：AlexNet级别的精度，参数减少了50倍，并且＆lt; 0.5MB型号”由FN Iandola，S。Han和其他人使用此网络的网络模型结构可以将原始AlexNet压缩到大约510倍（≤0.5MB），同时确保准确性。 SqueezeNet的核心指导思想是＆amp; mdash;使用最少的参数，同时确保准确性。这也是所有模型压缩方法的最终目标。基于此思想，SqueezeNet提出了一种三点网络结构设计策略：策略1.用1x1卷积内核替换3x3卷积内核。这种策略易于理解，因为1x1卷积内核的参数是3x3卷积内核的参数的1/9。从理论上讲，此更改可使模型大小减少9倍。策略2.减少输入到3x3卷积内核的输入通道的数量。我们知道，对于使用3x3卷积内核的卷积层，该层的所有卷积参数的数量（不考虑偏差）为：其中N是卷积内核的数量，即输出通道的数量，C输入通道数。因此，为了确保网络参数的减少，不仅需要减少3×3卷积内核的数量，而且还需要减少输入到3×3卷积内核的输入通道的数量，即，C in的数量。公式。策略3.尽可能在网络后面的层中进行下采样。在卷积神经网络中，由卷积层或池化层的步长确定每层输出的特征图是否降采样。重要的一点是：具有较大分辨率（延迟下采样）的特征图可以带来更高的分类精度，并且由于输入的分辨率越高，可以提供越多的信息，因此也可以直观地很好地理解这种观点。在以上三种策略中，