当前位置：首页 → 问答吧 → 关于信息学中的熵概念，有个小问题想请教一下。

关于信息学中的熵概念，有个小问题想请教一下。

时间：2011-09-07

来源：互联网

信息学中认为，一个事件所包含的信息量可以用熵来描述，熵在形式上与每个取值的概率有关，等于该概率对2取对数，再乘以该概率，再对所有取值求和，最后加一个符号。熵在数值上等于描述这一事件所需要的比特位，也就是我们想要用它来描述的信息量。我们都知道，对于一个有两个相等概率结果的事件，如抛硬币，熵是1，描述这一事件需要一个比特位，true or false。
同时，根据公式表明，各个取值的概率越平均，熵就越大，因为越难猜，因此一旦得知结果获得的信息就越多。
如果一个二元事件，两个取值概率不相等，即一个大于0.5，一个小于0.5，则熵必然小于1，意思就是描述这一事件所需的比特位小于1。
我的问题是，这应该如何理解？怎么用少于一个比特位来描述这个事件。
谢谢。
高手出现吧！

作者: super_chris 发布时间: 2011-09-07

最小单位就是比特所以如果只描述一次的话非0即1
但是如果是一串事件的集合使用算术编码可实现少于一个比特描述事件
原理可参照《深入搜索引擎》算术编码部分

作者: fengjian_428 发布时间: 2011-09-07

算术编码无限趋近与香浓定理

作者: fengjian_428 发布时间: 2011-09-07

一个大于0.5，一个小于0.5，则熵必然小于1，意思就是描述这一事件所需的比特位小于1。

还是用一个 bit 描述，只不过是存在信息冗余了。

0 个 bit 不能表示任何信息，不存在半个 bit 的吧，只能取整。

作者: GoonYangXiaofang 发布时间: 2011-09-07

引用 1 楼 fengjian_428 的回复:

最小单位就是比特所以如果只描述一次的话非0即1
但是如果是一串事件的集合使用算术编码可实现少于一个比特描述事件
原理可参照《深入搜索引擎》算术编码部分

谢谢，有机会看看

作者: super_chris 发布时间: 2011-09-07

引用 3 楼 goonyangxiaofang 的回复:

一个大于0.5，一个小于0.5，则熵必然小于1，意思就是描述这一事件所需的比特位小于1。

还是用一个 bit 描述，只不过是存在信息冗余了。

0 个 bit 不能表示任何信息，不存在半个 bit 的吧，只能取整。

恩，那请问如何理解这个信息冗余？怎么冗余了？怎么证明这个冗余存在？
谢谢