网络设计的经验借鉴

激活函数 目的：将卷积后的结果压缩到某一个固定的范围,保证数值范围可。控 缺点 训练的时候很容易就die了，即出现non； 技巧：设置learning rate，不要让网络训练过程中出现很多dead神经元； 对比Inception v3,v4和Inception-ResNet 提升网络宽度时，没有必要设计很多分支，可以通过1*1拉伸网络宽度，有利于网络参数更少（参数变少其实是辩证地实现了网络正则