学习率设置

理想loss值曲线

理想情况下曲线应该是滑梯式下降[绿线]：

1. 曲线 初始时 上扬 [红线]：

Solution：初始 学习率过大 导致 振荡，应减小学习率，并 从头 开始训练 。

2. 曲线 初始时 强势下降 没多久 归于水平 [紫线]：

Solution：后期 学习率过大 导致 无法拟合，应减小学习率，并 重新训练 后几轮 。

3. 曲线 全程缓慢 [黄线]：

Solution：初始 学习率过小 导致 收敛慢，应增大学习率，并 从头 开始训练 。