信息论与编码之求平均自信息量

信息论与编码中经常要求的就是平均自信息量,它是一个随机变量,不能用来作为整个信源的信息测度,但是能够反应一个事件平均所需的信息量。下面小编就来跟大家介绍一下它的求法,希望对大家有所帮助。

操作方法

  • 01

    首先要理解题意,要求的就是信息熵。

  • 02

    然后可以得出质点落入任一格的概率空间,如下图所示。

  • 03

    接着可以求出信源的平均自信息量。

  • 04

    第二问要求的当质点A落入后,B落入的平均自信息量,即为H(B|A)。

  • 05

    因为A已落入,则B落入的格可能有47个,可以写出条件概率,如图所示。

  • 06

    然后求出此题的平均自信息量。

  • 07

    A和B同时落入的平均自信息量也可以求出,如图所示。

  • End
  • 发表于 2017-09-26 00:00
  • 阅读 ( 542 )
  • 分类:科学教育

0 条评论

请先 登录 后评论