信息论与编码之信息熵
集X的平均自信息量又称作是集X的信息熵，简称熵，它是为了在观测之前，确定集X中出现一个事件平均所需的信息量。下面小编就用一个例题来跟大家介绍一下它的求法，希望对大家有所帮助。
操作方法
- 01
首先画出它的一阶马尔克夫信源的状态图，如下图所示。
- 02
然后根据切普曼—柯尔莫哥洛夫方程，可以得到相关表达式，如下图所示。
- 03
接着把p(0），p(1)，p(2)求出来。
- 04
然后根据第一小问的答案，求出它的信源熵，注意不要漏了单位。
- 05
接着根据题意可知:无记忆信源的符号的概率分布等于平稳分布。
- 06
可以写出此时信源的概率空间。
- 07
然后求出信源的信息熵。
- 08
最后可以比较出它们的大小。
- End
- 发表于 2017-09-26 00:00
- 阅读 ( 459 )
- 分类：科学教育
