标签：: CNN

2018
CNN

Mobilenet

参考： MobileNet V2 论文初读： https://zhuanlan.zhihu.com/p/33075914 CNN模型之MobileNet（知乎：我是小将）： https://zhuanlan.zhihu.com/p/31551004 （nice）：https://www.cnblogs.com/ansang/p/9076253.html https://yinguobing.co

CNN

感受野(receptive filed)大小的计算

感受野的概念 定义：卷积神经网络每一层输出的feature map上的像素点在输入图上映射的区域大小。分为理论感受野theoretical receptive field (TRF)与有效感受野effective receptive field (ERF)，通常说的是理论感受野 有效感受野 详见论文：Understanding the Effective Receptive Field in D

2017
CNN

网络设计的经验借鉴

激活函数 目的：将卷积后的结果压缩到某一个固定的范围,保证数值范围可。控 缺点 训练的时候很容易就die了，即出现non； 技巧：设置learning rate，不要让网络训练过程中出现很多dead神经元； 对比Inception v3,v4和Inception-ResNet 提升网络宽度时，没有必要设计很多分支，可以通过1*1拉伸网络宽度，有利于网络参数更少（参数变少其实是辩证地实现了网络正则

CNN

模型设计

经验借鉴VGG ==精度更高，泛化能力更强==； ==收敛更快了==； ==原因：用3个3×3代替7×7，网络更深、有更多非线性、同时需要更少的参数==； 自己的实验结果 ==在原图大小较小，模型深度有限的情况下==， ==在一定范围内，网络各层相对于原图的感受野越大，收敛速度越快==； ==适当增大卷积核尺寸，即增大相对于原图的感受野大小，有利于提高模型精度和泛化能力==；

CNN

ResNet

ResNet参考： （知乎：我是小将）： https://zhuanlan.zhihu.com/p/31852747 https://blog.csdn.net/wspba/article/details/56019373 TF官方的ResNet代码详解： https://zhuanlan.zhihu.com/p/32194105 https://zhuanlan.zhihu.com/p/270

CNN

Network in Network

设计思想 使用mlpconv网络替代传统的convolution层 不用FC层 减了少参数个数，进而网络层数可以加深，加快训练速度； 由于参数过多，网络过大，GPU显存不够限制了网络层的增加，从而限制了模型的泛化能力； 核心结构mlpconv mlpconv = conv + 1×1conv + 1×1conv(2层的mlp) 1×1卷积核作用： 实现通道间的信息交互和整合（加了1*1

CNN

VGG

核心思想 网络越深越好； 但网络深不好训练->用3*3的卷积核； 核心结构： 两个连续的3×3卷积相当于5×5的感受野，3个相当于7*7： 减少了参数，有更多的relu层，增加了更多的非线性； 输入及预处理 输入：224*224 预处理：除以255或者减去128（即精度定点，因为arm等平台计算浮点数计算量较大，而减去128之后数据就是unit8的形式了） 训练：SGD+momen

CNN

CNN基本概念

CNN特性 ==FC:全局信息，global信息能减少误检；====conv：局部信息== conv特性：平移不变性； CNN的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。 卷积核的多个