如何理解熵是概率场/概率分布的作用量这句话？
2023-12-04 阅读 31
熵是一个用来衡量概率分布的不确定性或信息量的概念。在信息论中，熵被定义为概率分布中各个事件的概率乘以其对数的负值之和。它可以理解为描述了一个概率分布的“混乱程度”。
当概率分布中的事件均匀分布时，熵达到最大值，表示概率分布的不确定性最高，信息量最大。相反，当概率分布中的事件高度集中在某些特定事件上时，熵较小，表示概率分布的不确定性较低，信息量较少。
将熵视为概率场或概率分布的作用量，是因为熵可以看作是描述概率分布的一个特征或属性，类似于物理学中的作用量。通过计算熵，我们可以了解概率分布中的信息量大小，从而对概率分布的特性进行分析和比较。
总之，熵是描述概率分布不确定性和信息量的度量，将其视为概率场或概率分布的作用量是为了更好地理解和分析概率分布的特性。
更新于 2023年12月04日
