信息熵的计算公式例子
@简琳2798：信源熵的计算公式 -
终毅18295496923…… 熵是用来衡量事物内部无序的总量..计算公式为ξp(xi)log2 p(xi)(i=1,2,..n) 其中这里的ξ是数学中的求和符号,p(xi)表示xi在整个分布中出现的概率,2其实log的下标,
@简琳2798：信息量的计算公式
终毅18295496923…… 信息量也称信息熵,它的计算公式:H(x)= E(I(xi)) = E( log(/P(xi)))=-∑P(xi)log(P(xi)) (i=.....n).其中,x表示随机变量,与之相对应的是所有可能输出的集合,定义为符号集,随机变量的输出用x表示.P(x)表示输出概率函数.变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.
@简琳2798：信息熵的公式
终毅18295496923…… H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)
@简琳2798：信息熵 计算 等比数列
终毅18295496923…… 信息熵公式:H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2为底的对数 按题意 P(X)=a(n)=(1/2)^n 所以 H(X)=H(n)=-∑(1/2)^n*log(2)( 1/2)^n=∑n(1/2)^n ① 下面用错位相乘法求H(X) 等式两边同乘以1/2 得到 ½*H(n)=1/2*∑n(1/2)^n =∑n(1/2)^(n+1) ② ① –② 得到1/2*H(n)=[∑(1/2)^n]-n(1/2)^( n+1)=1-(1/2)^n-n(1/2)^(n+1) 得到 H(n)=2-(1/2)^(n-1)-n(1/2)^n 若为无穷数列,令n→∞,H(n)→2
@简琳2798：信息熵 计算 等比数列等比数列 {1/2,1/4,1/8,……}的信息熵是多少? - 作业帮
终毅18295496923…… [答案] 信息熵公式:H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2为底的对数 按题意 P(X)=a(n)=(1/2)^n 所以 H(X)=H(n)=-∑(1/2)^n*log(2)( 1/2)^n=∑n(1/2)^n ① 下面用错位相乘法求H(X) 等式两边同乘以1/2 得到 ½*H(n)=1/2*∑n(1/2)^n =∑n(1/2)^(n+1) ② ① –② ...
@简琳2798：请问为什么在计算信息熵的时候要取对数呢? -
终毅18295496923…… 看看定义信息熵的想法: 设对于某个事件 x, 发生的概率是 p(x), 对应的＂信息量＂是 I(x). 性质 1. p(x) = 0 => I(x) = +\inf (正无穷大) 2. p(x) = 1 => I(x) = 0 3. p(x)>p(y) => I(x)含义是概率为 0 的事件对应的信息量大, 反之信息量少. 我们概率老师...
@简琳2798：举例说明信息熵及其地理意义 -
终毅18295496923…… 表示该地域的信息化管理水平.
@简琳2798：急求助:香农(信息)熵的计算~ -
终毅18295496923…… 1948 年,香农提出了“信息熵” 的概念,所以叫香农熵. 香农不是用钱,而是用 “比特”(bit)这个概念来度量信息量. 一个比特是一位二进制数,计算机中的一个字节是八个比特.在上面的例子中,这条消息的信息量是五比特. 信息量的比...
@简琳2798：图像信息熵公式中的概率怎么求? -
终毅18295496923…… 你说的对. 应该除. p(i,j) = x(i,j) / ∑i,jx(i,j) 是对的. 概率,起码加起来应该等于1. 让你乘起来的【p(i,j) = x(i,j)∑i,jx(i,j) 】,是和你开玩笑吧...
@简琳2798：有人知道数据挖掘里有叫什么信息商的什么东西吗?知道的麻烦告诉我下哦,谢谢啊 -
终毅18295496923…… 信息熵也叫先验熵,需要计算得来的.比如有20个人,按男女分类,男生有10个,女生有10个,那么信息熵是这样计算的,男生的概率*log(1/男生的概率)+ 女生的概率*log(1/女生的概率).
终毅18295496923…… 熵是用来衡量事物内部无序的总量..计算公式为ξp(xi)log2 p(xi)(i=1,2,..n) 其中这里的ξ是数学中的求和符号,p(xi)表示xi在整个分布中出现的概率,2其实log的下标,
@简琳2798：信息量的计算公式
终毅18295496923…… 信息量也称信息熵,它的计算公式:H(x)= E(I(xi)) = E( log(/P(xi)))=-∑P(xi)log(P(xi)) (i=.....n).其中,x表示随机变量,与之相对应的是所有可能输出的集合,定义为符号集,随机变量的输出用x表示.P(x)表示输出概率函数.变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.
@简琳2798：信息熵的公式
终毅18295496923…… H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)
@简琳2798：信息熵 计算 等比数列
终毅18295496923…… 信息熵公式:H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2为底的对数 按题意 P(X)=a(n)=(1/2)^n 所以 H(X)=H(n)=-∑(1/2)^n*log(2)( 1/2)^n=∑n(1/2)^n ① 下面用错位相乘法求H(X) 等式两边同乘以1/2 得到 ½*H(n)=1/2*∑n(1/2)^n =∑n(1/2)^(n+1) ② ① –② 得到1/2*H(n)=[∑(1/2)^n]-n(1/2)^( n+1)=1-(1/2)^n-n(1/2)^(n+1) 得到 H(n)=2-(1/2)^(n-1)-n(1/2)^n 若为无穷数列,令n→∞,H(n)→2
@简琳2798：信息熵 计算 等比数列等比数列 {1/2,1/4,1/8,……}的信息熵是多少? - 作业帮
终毅18295496923…… [答案] 信息熵公式:H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2为底的对数 按题意 P(X)=a(n)=(1/2)^n 所以 H(X)=H(n)=-∑(1/2)^n*log(2)( 1/2)^n=∑n(1/2)^n ① 下面用错位相乘法求H(X) 等式两边同乘以1/2 得到 ½*H(n)=1/2*∑n(1/2)^n =∑n(1/2)^(n+1) ② ① –② ...
@简琳2798：请问为什么在计算信息熵的时候要取对数呢? -
终毅18295496923…… 看看定义信息熵的想法: 设对于某个事件 x, 发生的概率是 p(x), 对应的＂信息量＂是 I(x). 性质 1. p(x) = 0 => I(x) = +\inf (正无穷大) 2. p(x) = 1 => I(x) = 0 3. p(x)>p(y) => I(x)含义是概率为 0 的事件对应的信息量大, 反之信息量少. 我们概率老师...
@简琳2798：举例说明信息熵及其地理意义 -
终毅18295496923…… 表示该地域的信息化管理水平.
@简琳2798：急求助:香农(信息)熵的计算~ -
终毅18295496923…… 1948 年,香农提出了“信息熵” 的概念,所以叫香农熵. 香农不是用钱,而是用 “比特”(bit)这个概念来度量信息量. 一个比特是一位二进制数,计算机中的一个字节是八个比特.在上面的例子中,这条消息的信息量是五比特. 信息量的比...
@简琳2798：图像信息熵公式中的概率怎么求? -
终毅18295496923…… 你说的对. 应该除. p(i,j) = x(i,j) / ∑i,jx(i,j) 是对的. 概率,起码加起来应该等于1. 让你乘起来的【p(i,j) = x(i,j)∑i,jx(i,j) 】,是和你开玩笑吧...
@简琳2798：有人知道数据挖掘里有叫什么信息商的什么东西吗?知道的麻烦告诉我下哦,谢谢啊 -
终毅18295496923…… 信息熵也叫先验熵,需要计算得来的.比如有20个人,按男女分类,男生有10个,女生有10个,那么信息熵是这样计算的,男生的概率*log(1/男生的概率)+ 女生的概率*log(1/女生的概率).
