熵是不确定性的一种度量。
简单易懂的解释：比如你去跟朋友商量，扔一个硬币，如果正面就去你喜欢的店吃饭，如果反面就去他喜欢的店吃饭。这时候你特别想去你喜欢的店，于是悄悄在硬币上做了手脚，让每次扔都是正面朝上。是不是去哪里吃饭这件事就是确定的，不随机的。这时候，熵是最小的。
Softmax是logistic regression的的多分类推广（有兴趣可参考：https://blog.csdn.net/huangjx36/article/details/78056375）
参考：
https://zhuanlan.zhihu.com/p/27223959
