Normal/Gaussian distribution

正态分布的前世今生

“正态分布和其它具有相同均值、方差的概率分布相比,具有最大熵”

“在很多时候我们其实没有任何的知识知道数据的真实分布是什么, 但是一个分布的均值和方差往往是相对稳定的。因此我们能从数据中获取到的比较好的知识就是均值和方差,除此之外没有其它更加有用的信息量。因此按照最大熵的原理,我们应该在给定的知识的限制下,选择熵最大的概率分布,而这就恰好是正态分布。即便数据的真实分布不是正态分布,由于我们对真实分布一无所知,如果数据不能有效提供除了均值和方差之外的更多的知识,按照最大熵的原理,正态分布就是这时候最佳的选择。”

上帝通过正态分布来用熵管理世界: Normal distribution = Law of fate