登录
注册
香当网
文档
PPT
PDF
搜索
热门搜索:
发布会
论文答辩
工作总结
公益
课件
分享赚香币
首页
ppt
ppt资料
信息论课程总结
8362
0
嵌入分享
PPT 内容
PPT 图集
1. 信息论课程总结
2. 信息论的基本概念与术语信号,消息,数据,知识,情报。 信息的定义。(香农信息) 信息的主要特征。 信息的重要性质。 信息的分类。 信息技术的基本内容。
3. 思考题:信息是什么? 信息的基本特征是什么? 信息与信号、消息、数据、知识、情报有那些差别? 怎样进行信息分类? 信息技术的 “四基元”是什么? 为什么说数学是信息科学的基础?
4. 信息量、熵和不确定度:自信息量、条件自信息量、联合自信息量、互信息量。 不确定度。 熵、条件熵、联合熵、平均互信息。 应用: 如何利用它们的性质和相互关系计算各种信源、随机变量和事件的相应信息度量 。
5. 两个基本定理:最大熵定理。 信息不增原理。
6. 几种研究对象:离散单符号信源。 离散无记忆序列信源。 离散有记忆序列信源。 (主要是马尔可夫信源) 连续信源。
7. 需掌握的重点:各种定义、概念的实际含义。 各种信息量和熵的计算方法。
8. 难点:条件熵、联合熵和平均互信息量的计算。 序列熵的计算。 马尔可夫信源熵的计算。
9. 马尔可夫信源熵的计算方法:根据题意画出状态图,判断是否是齐次遍历的马尔可夫信源。 写出状态转移概率矩阵,计算状态稳定后的极限概率分布。 根据状态转移概率矩阵和极限概率分布,计算信源的极限熵。
10. 信道的信息传输率:由于在平均意义上,一个符号流经信道的平均信息量为I(X;Y),所以,信道的信息传输率为: R=I(X;Y)=H(X)-H(X|Y) bit/符号 若平均传输一个符号的时间为t秒,则信道每秒众平均传输的信息量为: Rt=I(X;Y) /t bit/s
11. 定义:信道容量C C=max I(X;Y)=max [ H(X)-H(X/Y)] =max [ H(Y)-H(Y/X)]P(Xi)P(Xi)P(Xi)P(Xi)信道最大信息传输速率
12. 离散无噪信道 (一一对应的无噪信道)此时,H(X/Y)=0 此时,C = max H(X) = log n
13. 例:二元对称信道BSC(Binary Symmetric Channel)
14. BSC的信道容量为:
15. 离散信道容量的一般计算办法; 连续信道的信道容量。
16. 复习思考题:随机事件的不确定度和它的自信息量之间的关系及区别? 单符号离散信源的数学模型,自信息量、条件自信息量、联合自信息量的含义? 互信息量的性质?含义?分别从输入端、输出端和系统总体来理解互信息量的含义。 各种熵(信源熵,条件熵,联合熵(共熵),等)的含义及其关系。 熵的基本性质与定理及其理解?
17. 平均互信息量的定义及物理意义?疑义度及噪声熵? 平均互信息量的性质及理解? 最大离散熵定理。 数据处理定理及其含义。 信源的种类(详细分类)。 离散平稳信源的定义,平均符号熵,极限熵的定义,含义与理解。 马尔可夫信源的定义,含义及其极限熵?
18. 连续信源的熵的定义? 几种特殊连续信源的熵? 信道容量的定义与计算办法。
19. 例:若你在不知道今天是星期几的情况下,问你的朋友“明天是星期几?”,从答案中能获得多少信息量?如果你在已经知道今天是星期四的情况下,提出同样的问题,能从答案中获得多少信息量?
20. 解:设事件A为:不知道今天是星期几的情况下,问 “明天是星期几?”的答案。 设事件B为:知道今天是星期四的情况下,问 “明天是星期几?”的答案。 则:P(A)=1/7, P(B)=1 I(A)=log27≈2.807 比特 I(B)=log21=0 比特
21. 习题1:从统计资料知道,男性中红绿色盲的发病率为7%,女性为0.5%,如果你问一个男同志,“你是否是红绿色盲?”他的回答可能是“是”,可能是“否”,问:两个回答各含有多少信息量?平均每个回答含有多少信息量?,如果是女同志,结果又如何?
22. 习题2:设有一个信源,它产生0,1序列的消息,它在任何时间而且不论以前发出过什么符号,均按P(0)=0.4,P(1)=0.6的概率发出符号。 (1)试问该信源是否是平稳的? (2)计算
1***4
下载需要
2
积分
[ 获取积分 ]
服务器/托管费、人工审核、技术维护等都需要很多费用,请您支持香当网的发展
下载PPT
0
推荐
0
收藏
该用户的其他文档
2017年大学生车间实习总结
高一数学教师期中考试总结
供电公司重大活动供电保障方案
077 点工签认的暂行管理程序
相关PPT
课程管理和课程资源开发
地理课程评价
三级课程管理
课程考核管理
课程资源的开发与利用
信息技术与课程的整合
信息技术与课程整合
员工培训课程
历史课程标准解读
学习失败学开发课程资源
相关文档
信息论习题集(陈运)
湘潭大学信息论与编码试卷
课程总结
信息论与编码曹雪虹课后习题答案
信息论与编码试题集与答案考试必看
信息论与编码期末考试题
信息论第二次实验报告——信道容量的计算
信息论实验报告(实验四、哈夫曼编码)
课程总结与反馈
课程学习总结