信息论与编码期末复习——概念论述简答题（一）

个人名片：

🦁作者简介：一名喜欢分享和记录学习的在校大学生
🐯个人主页：妄北y

🐧个人QQ：2061314755

🐻个人邮箱：2061314755@qq.com
🦉个人WeChat：Vir2021GKBS
🐼本文由妄北y原创，首发CSDN🎊🎊🎊
🐨座右铭：起点不那么重要，迭代更重要。

专栏导航：

妄北y系列专栏导航:

C/C++的基础算法：C/C++是一种常用的编程语言，可以用于实现各种算法，这里我们对一些基础算法进行了详细的介绍与分享。🎇🎇🎇

C/C++刷题库：分享一些关于编程的练习基础题，也会后续加入一系列的算法题，分享自己的解题思路和方法。🥰🥰🥰

计算机网络：对计算机网络的基础知识框架有一个简单的学习与认识，对计算机网络中常见的题型进行一个总结与归纳。🍾🍾🍾

QT基础入门学习：对QT的基础图形化页面设计进行了一个简单的学习与认识，利用QT的基础知识进行了翻金币小游戏的制作🤹🤹🤹

Linux基础编程：初步认识什么是Linux，为什么学Linux，安装环境，进行基础命令的学习，入门级的shell编程。🍻🍻🍻

Linux的系统编程+网络编程：IO编程、进程、线程、进程间通讯（包括管道、信号、信号量、共享内存等）网络编程主要就是socket，poll，epoll，以及对TCP/IP的理解，同时要学会高并发式服务器的编写。🙌🙌🙌

Linux应用开发基础开发：分享Linux的基本概念、命令行操作、文件系统、用户和权限管理等，网络编程相关知识，TCP/IP 协议、套接字（Socket）编程等，可以实现网络通信功能。💐💐💐

Linux项目开发：Linux基础知识的实践，做项目是最锻炼能力的一个学习方法，这里我们会学习到一些简单基础的项目开发与应用，而且都是毕业设计级别的哦。🤸🤸🤸

非常期待和您一起在这个小小的互联网世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

文章介绍：

🎉本篇文章对信息论与编码学习的相关知识进行分享！🥳🥳🥳

✨对信息论编码中的简答论述题进行阐述与总结，对我国音视频编码发展现状与趋势进行了解认识。✍️✍️✍️

如果您觉得文章不错，期待你的一键三连哦，你的鼓励是我创作动力的源泉，让我们一起加油，一起奔跑，让我们顶峰相见！！！💪💪💪

🎁感谢大家点赞👍收藏⭐评论✍️

目录：

一、试述自信息量的两种含义。

二、信息论研究的对象、目的和内容是什么?

三、简述通信系统模型结构并说明各组成部分的功能。

四、试述信息、消息、信号之间的区别和联系，并举例说明。

五、阐述平均互信息和各类嫡之间的关系

六、何为强对称信道，它的信道容量是多少。

七、阐述互信息与平均互信息之间的关系及其物理含义

八、离散信源最大嫡定理内容是什么?

九、阐述信源编码器有何种作用?

十、阐述求解马尔科夫信源嫡的步骤

十一、何为算术编码

十二、我国在视频编解码标准领域内的发展现状

十三、我国音视频产业规模及发展前景

十四、阐述费诺编码的方法

十五、阐述信道编码的作用及其与信息安全的关系

十六、阐述何为“极化码”，其应用现状如何?

一、试述自信息量的两种含义。

在事件发生前, 自信息表示事件发生的不确定性。

在事件发生后, 自信息表示事件所包含的信息量, 是提供给信宿的信息量, 也是解除这种不确定性所需要的信息量

二、信息论研究的对象、目的和内容是什么?

对象：简单通信系统模型

目的：提高可靠性、有效性、保密性与认证性

内容：香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。

三、简述通信系统模型结构并说明各组成部分的功能。

通信系统一般模型：

发送设备：将信源产生的原始电信号变换成适合在信道中传输的形式。变换方式有调制、放大、滤波、编码、多路复用等。
信道：传输信号的通道，即传输媒质。在给子信号通道的同时，信道也会对信号产生损耗和干扰。
噪声源：通信系统中各处噪声的集中表示。
接收设备：其功能与发送设备相反，目的是从受到减损的接收信号中恢复原始电信号。
信宿：传送消息的目的地，其功能与信源相反。即把原始电信号还原成相应的消息，如扬声器把音频信号还原成声音。

四、试述信息、消息、信号之间的区别和联系，并举例说明。

消息、信息与信号的区别

消息（message）指的是信号要传递的内容，是本质。
信号（signal）指的是消息传递的形式，比如是电信号、光信号等，是载体。
信息（information）指的是传达给人的消息，能消除受信者的某些不确定性。

联系

消息是信息的形式，信息是消息的内容，而信号则是消息的表现形式。

五、阐述平均互信息和各类嫡之间的关系

平均互信息是两个随机变量的互信息的期望值，它既考虑了两个随机变量各自的不确定性，也考虑了他们之间的关联程度，而各类熵，如香农熵、条件熵等，都是用来刻画随机变量分布的不确定性的度量，它们只考虑了随机变量本身的不确定性。

在维拉图中，各熵之间的关系可以通过集合的交集和并集来表示。具体来说：

信源熵H(X)表示信源X发出的信号集合所包含的信息量，可以用圆圈X的面积来表示。

信道熵H(Y∣X)表示在已知信源X的情况下，信道Y传递信息的不确定性的度量，可以用圆圈X和圆圈Y的交集的面积来表示。

联合熵H(XY)表示信源X和信道Y共同作用时所包含的信息量，可以用圆圈X和圆圈Y的并集的面积来表示。

条件熵H(X∣Y)表示在已知信道Y的情况下，信源X发出信号的不确定性的度量，可以用圆圈X的面积减去圆圈X和圆圈Y的交集的面积来表示。

六、何为强对称信道，它的信道容量是多少。

强对称信道是指在信道转移概率矩阵中，每一行都是相同的概率分布，每一列也具有相同的概率分布。因此，信道是行对称和列对称的。

对于离散单符号强对称信道，其信道容量可以通过以下公式计算：C = log2(1+SNR)

其中，SNR是信号噪声比，表示信号功率与噪声功率的比值。该公式描述了在给定SNR下，信道能够传输的最高信息速率。因此，强对称信道的信道容量取决于SNR的大小。

七、阐述互信息与平均互信息之间的关系及其物理含义

互信息：是两个随机变量之间的信息量，表示一个随机变量中包含的关于另一个随机变量的信息量。具体来说，互信息 I(X;Y) 表示在收到随机变量 Y 后，关于随机变量 X 的不确定度减少的量，它反映了 X 和 Y 之间的相关性。

平均互信息：是互信息在联合概率空间中的统计平均值，表示在给定随机变量 Y 的条件下，关于随机变量 X 的平均不确定度减少的量。具体来说，平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机性，成为一个确定的量。

互信息和平均互信息之间的关系:互信息是平均互信息的极限情况。当信道容量趋于无穷大时，平均互信息量趋于互信息量。因此，互信息和平均互信息在本质上是相同的，都是描述两个随机变量之间的相关性。

物理含义:互信息和平均互信息都反映了通信系统中信息的传递和不确定性。互信息表示在接收端收到 Y 后，关于 X 的不确定度减少的量，即从 Y 中获得的关于 X 的信息量。平均互信息则表示在给定 Y 的条件下，关于 X 的平均不确定度减少的量，即从 Y 中获得的关于 X 的平均信息量。

八、离散信源最大嫡定理内容是什么?

对于具有q个符号的离散信源，当q个信源符号出现的可能性相等时，信源的熵达到最大值。即称信源中的事件为等概率事件，即等概率分布的信源其平均不确定性最大。最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。

九、阐述信源编码器有何种作用?

信源编码器的主要作用是对输入的信息进行编码，优化信息和压缩信息，并打包成符合标准的数据包。在保证通信质量的前提下，信源编码器尽可能地通过对信源的压缩，提高通信时的有效性，让通信变得更加有效率。

具体来说，信源编码器的作用包括：

将模拟信号转化为数字信号，方便计算机处理和传输。

对数据进行压缩，以更少的符号表示原始信息，从而减少了信源的剩余度，提高了通信效率。

十、阐述求解马尔科夫信源嫡的步骤

1.统计信源输出符号的频数，得到每个符号出现的次数。
2.将每个符号的频数除以总的符号个数，得到每个符号的概率。
3.计算每个符号概率的负对数，再乘以该符号的概率。
4.将所有符号的结果相加，得到信源的熵。

十一、何为算术编码

算术编码是一种无损的数据压缩方法，也是熵编码的一种方法。与其他熵编码比较而言，其他熵编码通常是把输入的消息区分为符号，然后对每个符号进行编码，而算术编码是根据输入消息中不同符号出现的概率，把整个输入的消息最终编码为1个数，一个介于0和1之间的小数。

十二、我国在视频编解码标准领域内的发展现状

了解即可：

在视频编解码标准领域，我国已经取得了一定的发展。早在2002年就成立了AVS工作组，发展AVS标准。目前，AVS已经推出了第三代版本AVS3，面向8K超高清产业以及虚拟现实视频产业。

AVS3在技术上具有优越性，与H.265相比，在超高清视频的压缩性能YUV综合提升上超过36%，在融合了滤波、率失真优化等智能编码技术后，相对H.265的压缩性能提高超过44%，即便是与下一代的H.266相比，也有8%的提升。在硬件方面，海思推出了首个支持8K120P的AVS3解码与显示芯片，同时，芯动科技、天数智芯等GPU厂商也在合作研发AVS3编解码IP核的应用。

目前，AVS3主要应用于一些体育赛事领域，如咪咕视频中的世界杯相关视频内容、中央广播电视总台的8K频道以及北京电视台的冬奥纪实频道等。虽然AVS3的专利池收费较低，且只针对终端芯片，但在推广方面仍存在挑战，未来需要进一步加强国际合作和推广。在视频编解码标准领域，我国已经取得了一定的发展。早在2002年就成立了AVS工作组，发展AVS标准。目前，AVS已经推出了第三代版本AVS3，面向8K超高清产业以及虚拟现实视频产业。

AVS3在技术上具有优越性，与H.265相比，在超高清视频的压缩性能YUV综合提升上超过36%，在融合了滤波、率失真优化等智能编码技术后，相对H.265的压缩性能提高超过44%，即便是与下一代的H.266相比，也有8%的提升。在硬件方面，海思推出了首个支持8K120P的AVS3解码与显示芯片，同时，芯动科技、天数智芯等GPU厂商也在合作研发AVS3编解码IP核的应用。

目前，AVS3主要应用于一些体育赛事领域，如咪咕视频中的世界杯相关视频内容、中央广播电视总台的8K频道以及北京电视台的冬奥纪实频道等。虽然AVS3的专利池收费较低，且只针对终端芯片，但在推广方面仍存在挑战，未来需要进一步加强国际合作和推广。

十三、我国音视频产业规模及发展前景

了解即可：

早期国内专业音视频领域因为需求分析粗放、销售循环周期快速等原因，大多以产品性能、功能为卖点，强调产品本身针对应用场景的满足性，即以产品型市场为主导；但随着技术的发展进步、应用功能的融合与细化、竞争加剧所带来的差异化经营以及终端客户专业性的提升和眼界的开阔，可以更好地与应用场景相匹配的、包含技术服务在内的整体解决方案逐渐得到市场认可，强调系统性、整体性、适用性和针对性的解决方案在市场竞争中逐渐获得先机，即专业音视频领域由产品型市场逐渐向技术和服务型市场转变。

2024音视频技术发展报告

十四、阐述费诺编码的方法

费诺编码（Fano coding）是一种用于无损数据压缩的编码方法。它基于信源编码理论，旨在通过最小化信源符号的长度来最小化信息的编码长度。费诺编码是基于给定信源符号的出现概率来进行编码的。
费诺编码的方法包括以下步骤：
1.将信源消息（符号）按其出现的概率由大到小依次排列。
2.将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组分别赋予一个二进制码元“0”和“1”。
3.将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又分别赋予一个二进制符号“0”和“1”。
4.重复上述步骤，直至每个组只剩下一个信源符号为止。
5.将逐次分组过程中得到的码元排列起来，即为各信源符号的编码。

十五、阐述信道编码的作用及其与信息安全的关系

信道编码在数字通信中起着非常重要的作用。其主要目的是减小数字信号传输过程中的误码率，提高通信的可靠性。

了解即可：

首先，信道编码利用各种冗余信息来检测和纠正数字信号在传输过程中可能出现的错误。这些冗余信息通过特定的算法添加到原始数据中，使得接收端可以检测和纠正错误。常见的信道编码技术包括线性分组码、循环码、卷积码等。

其次，信道编码可以提高数字通信的效率。通过使用高效的编码算法，可以在保证误码率要求的同时，尽可能地减少需要传输的冗余信息，从而提高通信效率。

信道编码与信息安全也有密切的关系。一方面，信道编码可以提供一定的加密功能，通过将原始数据与随机生成的密钥进行加密，可以保护数据的机密性和完整性。另一方面，信道编码也可以提供一定的认证功能，通过在数据中添加校验信息，可以检测数据是否被篡改或伪造。

十六、阐述何为“极化码”，其应用现状如何?

了解即可：

极化码（Polar Codes）是一种前向错误更正编码方式，主要用于信号传输。其核心思想是通过信道极化处理，使各个子信道呈现出不同的可靠性。当码长持续增加时，部分信道将趋向于容量近于1的完美信道（无误码），另一部分信道趋向于容量接近于0的纯噪声信道。选择在容量接近于1的信道上直接传输信息，可以逼近信道容量，是唯一能够被严格证明可以达到香农极限的方法。
极化码在5G无线通信系统中具有广泛的应用，可以提高信号的可靠性和传输速率。极化码用于5G系统的信道编码，能提高编码效果，尤其是在信噪比低的情况下。在传统的编码方法中，如采用纠错编码技术（如BCH码或LDPC码等），性能可能不理想，而极化码通过极化过程可以将信道极化为可靠的和不可靠的两部分，使编码效果更为优秀。
极化码不仅用于5G系统的信道编码，还可应用于多用户多输入多输出（MU-MIMO）系统。MU-MIMO系统允许多个用户同时传输和接收数据，以提高系统的容量和频谱效率。然而，当用户数量较多时，MU-MIMO系统会带来较大的干扰。极化码可以对用户进行极化，减小干扰效应，提高系统性能。
此外，极化码还可应用于超密集组网（Heterogeneous Network）中。超密集组网旨在提高网络覆盖范围和容量，是5G系统中的一项重要技术。
如需更多关于极化码的资料，建议查阅通信原理、信息论等相关教材或论文，也可访问通信领域论坛获取更多专业极化码（Polar Codes）是一种前向错误更正编码方式，主要用于信号传输。其核心思想是通过信道极化处理，使各个子信道呈现出不同的可靠性。当码长持续增加时，部分信道将趋向于容量近于1的完美信道（无误码），另一部分信道趋向于容量接近于0的纯噪声信道。选择在容量接近于1的信道上直接传输信息，可以逼近信道容量，是唯一能够被严格证明可以达到香农极限的方法。
极化码在5G无线通信系统中具有广泛的应用，可以提高信号的可靠性和传输速率。极化码用于5G系统的信道编码，能提高编码效果，尤其是在信噪比低的情况下。在传统的编码方法中，如采用纠错编码技术（如BCH码或LDPC码等），性能可能不理想，而极化码通过极化过程可以将信道极化为可靠的和不可靠的两部分，使编码效果更为优秀。
极化码不仅用于5G系统的信道编码，还可应用于多用户多输入多输出（MU-MIMO）系统。MU-MIMO系统允许多个用户同时传输和接收数据，以提高系统的容量和频谱效率。然而，当用户数量较多时，MU-MIMO系统会带来较大的干扰。极化码可以对用户进行极化，减小干扰效应，提高系统性能。
此外，极化码还可应用于超密集组网（Heterogeneous Network）中。超密集组网旨在提高网络覆盖范围和容量，是5G系统中的一项重要技术。
如需更多关于极化码的资料，建议查阅通信原理、信息论等相关教材或论文，也可访问通信领域论坛获取更多专业