模型训练经验
1. 模型训练经验 ==weights和bias的初始化对训练影响很大==； ==batch_size先拿小的试一下，比如16,8,1等，调大了收敛太慢==； ==学习率不宜过大，初始可设置为1e-3==； 网络不收敛 数据问题（根本） 数据少，数据分布差，数据质量差；数据预处理：归一化等；可以先简化数据，数据弄成“弱智”般的最简单的数据，收敛后再慢慢加数据复杂度；2. 学习率过大3. b
1. 模型训练经验 ==weights和bias的初始化对训练影响很大==； ==batch_size先拿小的试一下，比如16,8,1等，调大了收敛太慢==； ==学习率不宜过大，初始可设置为1e-3==； 网络不收敛 数据问题（根本） 数据少，数据分布差，数据质量差；数据预处理：归一化等；可以先简化数据，数据弄成“弱智”般的最简单的数据，收敛后再慢慢加数据复杂度；2. 学习率过大3. b
理想loss值曲线理想情况下曲线应该是滑梯式下降[绿线]： 曲线 初始时 上扬 [红线]： Solution：初始 学习率过大 导致 振荡，应减小学习率，并 从头 开始训练 。 曲线 初始时 强势下降 没多久 归于水平 [紫线]： Solution：后期 学习率过大 导致 无法拟合，应减小学习率，并 重新训练 后几轮 。 曲线 全程缓慢 [黄线]： Solution：