如何测量Renyi熵？
2023-04-26 阅读 57
Renyi熵是一种熵的度量方式，它是由一位数学家Rényi提出的。与香农熵不同，它包含一个参数α，可以控制熵的计算方式。Renyi熵的公式如下：
Hα(X) = 1/(1-α) * log(∑(i=1 to n) p^α_i)
其中，X是随机变量，p_i是X取值为i的概率，n是X的取值个数。
为了测量Renyi熵，需要知道随机变量X的概率分布，即各个取值的概率p_i。然后，根据上述公式，计算出α取不同值时的Renyi熵。通常情况下，我们会计算α从0到1的Renyi熵，以便比较不同熵的大小和分布的复杂度。
更新于 2023年05月01日
