目录

11.1 多媒体种类和数据压缩

11.2 音频

11.3 图像

11.4 视频

---

11.1 多媒体种类和数据压缩

• 多媒体种类

  1. 感觉媒体：人接触信息的感觉形式，直接作用于人的感觉器官，使人产生直接感觉的媒体。如视觉、听觉、触觉、嗅觉、味觉等

  2. 显示媒体/表现媒体：表现和获取信息的物理输入输出设备。输入显示媒体：键盘、鼠标、麦克风；输出显示媒体：显示器、打印机、音箱

  3. 表示媒体：信息的表示形式，指为了加工、处理、传输感觉媒体而人为研究、构造出来的媒体，常见有文本、图像、声音各种编码方式，如文字、图形、图像、动画、音视频

  4. 存储媒体：存储数据的物理设备，如磁盘、光盘、内存

  5. 传输媒体：传输数据的物理载体，如电缆、光缆、交换设备

• 多媒体标准

  1. JPEG：有损、RGB转YUV、离散余弦

  2. JPEG-2000：有损&无损，压缩比更高，小波变换，医学图像应用

  3. MPEG-1：数字电视标准。针对音视频编码，离散余弦、VCD、MP3（第三层）

  4. MPEG-2：广播级数字电视标准。针对音视频编码，离散余弦、Huffman、DVD、有线/卫星电视、AAC

     ① 理论上单层单面DVD盘片存储4.7GB数据量，单面双层容量8.5GB，双层双面只读容量17GB

     ② 使用盘片的两个面记录数据，以及在一个面上制作两个记录层，是提高DVD容量的重要措施

     ③ 广播级数字电视数据量比MEPG-1大的多，而CD-ROM容量尽管有近700多兆字节，仍满足不了存放MPEG-2 Video节目的要求，这种需求促成了DVD的问世

     ④ DVD-RAM、DVD-RW是DVD技术支持的两种不同的可多次擦除重写的DVD光盘格式，CD-R指一次性可写/刻录CD光盘，CD-RW指可多次擦除、重写CD光盘

  5. MPEG-4：多媒体应用标准。针对音视频编码，网络应用/可视电话、无线通信、增强交互性、数码权限管理、多媒体传输集成框架

  6. MPEG-7：多媒体内容描述接口标准，具备描述功能、不是编码标准

  7. MPEG-21：多媒体框架结构标准，融合不同协议、制定新标准、标准集成

  MPEG：运动/活动图像专家组，1988年由国际标准化组织ISO、国际电工委员会IEC联合成立的专家组，负责开发电视图像、声音数据的编码、解码、同步等标准

• 压缩编码

  1. 无损压缩编码：冗余压缩法/一致性编码/熵编码，属于压缩冗余度编码，可逆可还原，如压缩包。有变长编码（Huffman，Shannon，FannO）、行程编码、算术编码。Huffman：根据每个源字符出现的估算概率建立起来的。出现概率高的字符使用较短编码，出现概率低则使用较长编码，使编码后字符串的平均期望长度降低，达到无损压缩数据的目的

  2. 有损压缩编码：熵压缩法，属于压缩熵编码，压缩比高。有预测编码（运动补偿预测、自适应预测、线型非线形预测、δ调制)、变换编码（KLT、DCT、ADCT、DWT）、基于模型编码（分形编码、轮廓编码、识别合成编码）、直接影射（矢量量化、神经网络）

  3. 组合编码/高效压缩编码

• 容错和冗余

  1. 容错技术：对某些无法避开的差错，使其影响减至最小的技术，实现容错的手段主要是冗余

  2. 冗余技术：所有对于实现系统功能的软件来说，多余的那部分资源，包括硬件、软件、时间、信息

     ① 结构冗余(常用)：按工作方法分为静态、动态、混合冗余

     ② 信息冗余：指为了检测/纠正信息在运算/传输中的错误另外加的一部分信息

     ③ 时间冗余：指以重复执行指令/程序来消除瞬时错误带来的影响

     ④ 冗余附件技术：指为实现上述冗余技术所需的资源技术，包括程序指令、数据、存放调动它们的空间和通道等

     a. 屏蔽硬件错误：关键程序、数据的冗余存储及调用：检测、表决、切换、重构、纠错、复算的实现

     b. 屏蔽软件错误：冗余备份程序的存储及调用：实现错误检测、错误恢复的程序；实现容错软件所需的固化程序

11.2 音频

• 声音的带宽：

  1. 人耳：20Hz-20kHz；说话：300-3400HZ；乐器：20Hz-20kHz

  2. 采样：采样频率（应为声音最高频率2倍）、采样精度

• AD/DA变换

  1. AD转换：模数转换，模拟信号转数字信号。采样->量化->编码

  2. DA转换：数模转换，数字信号转模拟信号

  3. AD/DA变换不能用来解决计算机终端用户因等待时间过长而放弃下载或显示图片/影像的问题

• 常见音频格式

  1. MP3

  2. WAVE：记录对于音乐信号的波形采样数据，使用反映自然声音的信号采样序列记录和回放声音信息。音乐数据量大于MIDI，记录演唱会实况

  3. MIDI：记录采用音乐信息序列交换的标准格式，存储、表达音乐的演奏信息，包含每个音符演奏时间、音量、长度、乐器、音色信息等，可间接反映出音乐的曲谱演奏信息

• 音乐合成技术

  1. 调频音乐合成 FM：使高频振荡波的频率按调制信号规律变化的一种调制方式。采用不同调制波频率和调制指数就可以方便地合成具有不同频谱分布的波形，再现某些乐器的音色。可得到具有独特效果的“电子模拟声”，创造出丰富多彩的声音，是真实乐器所不具备的音色

  2. 波形表音乐合成 WaveTable：将各种真实乐器所能发出的所有声音（包括各个音域、 声调）录制下来，存诸为一个波表文件。播放时，根据MIDI文件记录的乐曲信息向波表发出指令，从“表格”中逐一找出对应的声音信息，经合成、加工后回放出来

  3. FM技术的乐音逼真，WaveTable技术的乐音音质更好更真实。两种技术都应用于多媒体计算机音频卡中

• 音频容量计算

  1. 波形声音信息：是一个用来表示声音振幅的数据序列，它是通过对模拟声音按一定间隔采样获得的幅度值，再经量化、编码后得到的便于计算机存储、处理的数据格式

  2. 毎秒容量/数据传输率（B/s） = 采样频率(Hz) x 量化/采样位数(b) x 声道数 ÷ 8

     例：CD上声音的采样频率为44.1kHz，样本精度为16bit，双声道立体声，未经压缩的数据传输率为：44.1kHz * 16bit * 2 = 1411.2kb/s

11.3 图像

• 图像基础：

  1. dpi：描述图像分辨率的单位，表示每英寸多少像素点，即组成一幅图像的像素密度。实质上是图像数字化的采样间隔，由它确立组成一幅图像的像素数目

  2. 对同样大小的一幅图，组成该图像的图像像素数目越多，说明图像分辨率越高，图像越逼真。相反，图像则显得越粗糙，不同分辨率会造成不同的图像清晰度

  3. 存储每个像素所用的位数用来度量图像分辨率。像素深度确定彩色图像的每个像素可能有的颜色数，即确定彩色图像中可出现的最多颜色数。显示屏上能够显示出的像素数目是指显示分辨率

  4. 图像数据压缩去除冗余

     ① 空间上采用JPEG压缩，包括帧内预测编码、变换编码； ② 时间上采用帧间预测编码、运动补偿

  5. PAL制式：图像亮度信号分辨率为（352 * 288），帧速为（25帧/秒）

• 色彩三要素

  1. 彩色光作用于人眼，使之产生彩色视觉。用色彩三要素亮度、色调、饱和度确切地表示某一彩色光的度量

  2. 亮度：光作用于人眼时引起的明暗程度感觉，指色彩明暗深浅程度，画面明亮程度

  3. 色调：颜色的类别、画面整体颜色倾向，如红色、绿色、蓝色等不同颜色

  4. 饱和度：颜色的艳丽程度、深浅程度、浓度，色彩的纯洁性

• 图像的计算

  1. 知道像素，位数：每个像素为16位，图像为640 x 480像素，求容量：640 x 480 x 16 / 8 = 614,400 B

  2. 知道像素，色数：640 x 480像素，256色的图像，求容量：640 x 480 x log2 (256) / 8 = 307,200 B

     例1：某相机内置128MB存储空间，拍摄分辨率1600 x 1200像素，颜色深度24位，若不采用压缩存储，使用内部存储器最多可以存储照片：1600 * 1200 *24 / 8 / 1024 / 1024 = 5.5 ； 128 / 5.5 = 23

     例2：拨号上网、收发邮件应用中，带宽要求并不只是带宽高时拨号上网、收发邮件的速度提高了。对于可视电话、数字电视均要求带宽越高越好，数字电视尤其如此。因为每一帧图像，若每点像素用24位作为颜色值，设数字电视分辨率1920 * 1080。为使图像不抖动，每秒钟至少需要25帧，则每秒需传送的字节数为：1920 * 1080 * 24 * 25 / 8=155520000 B = 155MB

• 图像文件格式

  1. 计算机中使用的图像文件格式大体分为图像文件格式、动态图像文件格式

  2. GIF：将文件中的多幅图像数据逐幅读出并显示到屏幕上

  3. JPEG

     ① 累进编码，计算机终端用户收到的图像是多次扫描由粗糙到清晰的渐进过程

     ② 由ISO和IEC组织机构联合组成的专家组，负责制定静态、数字图像数据压缩编码标准，这个专家组地区的算法称为JPEG算法，并且称为国际通用标准/JPEG标准

     ③ JPEG是一个适用范围很广的静态图像数据压缩标准，可用于灰度图像、彩色图像

  4. MPEG：

     ① 运动图像数据压缩标准，包括视频、音频、系统（音视频同步），MPEG压缩标准针对运动图像设计。基本方法：单位时间内采集并保存第一帧信息，然后只存储其余帧对第一帧发生变化部分，达到压缩目的

     ② 平均压缩比50 : 1，最高达200 : 1，压缩效率高，图像和音响质量好，PC上有统一标准格式，兼容性好

  5. AVI：

     ① Microsoft开发的一种符合RIFF文件规范的数字音视频文件格式，Windows、OS/2等多数操作系统直接支持

     ② AVI文件并未限定压缩标准。AVI文件目前主要应用在多媒体光盘，用来保存电影、电视等各种影像信息，有时也出现在因特网上，供用户下载、欣赏新影片片段

  6. CIF：

     ① 常用标准化图像格式，H.323协议簇中，规定视频采集设备的标准采集分辨率，CIF = 352 x 288px

     （A）H.320：标准面向窄带综合业务数字网 N-ISDN ，窄带可视电话系统通信标准

     （B）H.323：面向无QoS保障的包交换网络的多媒体通信标准

     （C）H.324：低速率网络（PSTN）多媒体通信及终端的标准

     （D）H.264：视频压缩编码技术的标准

• 彩色空间/彩色模型

  1. 指彩色图像使用的颜色描述方法。在PC和多媒体系统中，表示图形、图像的颜色常常涉及不同的彩色空间

  2. RGB彩色空间：计算机中的彩色图像一般都采用R、G、B分量表示，色彩显示器通过发射3种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝荧光材料发光产生色彩

  3. CMY彩色空间：彩色打印的纸张不能发射光线，彩色打印机只能使用能够吸收特定光波而反射其他光波的油墨/颜料实现。用油墨/颜料混合得到的彩色称为相减色（减少/吸收了人眼识别颜色所需的反射光）。根据三基色原理，油墨/颜料的三基色是青、品红、黄，可用这三种颜色的油墨/颜料按不同比例混合成任何一种由油墨/颜料表现的颜色

  4. YUV彩色空间：在现代彩色电视系统中（兼容），常采用三管彩色摄像机/彩色CCD摄像机，它把摄得的彩色图像信号经分色、放大、校正得到RGB三基色，再经矩阵变换得到亮度信号Y、色差信号U(R一Y)、V(B-Y)，最后发送端将这三个信号分别编码，用同一信道发送出去。对YUV分量进行数字化，对应数字化位数常采用Y : U : V = (8 ：4 ：4)

  5. HSV、HSB艺术家空间

• 矢量图

  1. 是常用的图形图像表示形式，图元是描述矢量图的基本组成单位。矢量图形是用一系列计算机指令描述、记录的一幅图的内容，即通过指令描述构成一幅图的所有直线、曲线、圆、圆弧、矩形等图元的位置、维数、形状，也可用更为复杂的形式表示图像中的曲面、光照、材质等效果

  2. 矢量图法实质上是用数学方式（算法、特征）描述一幅图形图像，处理图形图像时根据图元对应的数学表达式编辑、处理。在屏幕上显示一幅图形图像时，首先解释这些指令，然后将描述图形图像的指令转换成屏幕上显示的形状和颜色。编辑矢量图的软件称为绘图软件，如适于绘制机械图、电路图的 Auto cad

  3. 这种软件可产生、操作矢量图的各个成分，对矢量图形进行移动、缩放、叠加、旋转、扭曲等变化。编辑图像时将指令转变成屏幕上所显示的形状和颜色，显示时也往往能看到绘图过程。由于所有的矢量图形部分都可用数学方法描述，使得计算机可对其进行任意放大、缩小、旋转、变形、扭曲、移动、叠加等变换，而不破坏图像画面

  4. 用矢量图形格式表示复杂图像（人物、风景照片），且要求很高时，将需要花费大量时间变换、着色、处理光照效果等。矢量图形主要用于标识线框型的图画、工程制图、美术字等

• 位图

  1. 指用像素点描述的图，图像一般是用摄像机/扫描仪等输入设备捕捉实际场景画面，离散化为空间、亮度、颜色（灰度）的序列值，即把一幅彩色图/灰度图分为许许多多的像素/点，每个像素用若干二进制位指定该像素的颜色、亮度、属性

  2. 图像适合表现比较细腻，层次较多，色彩较丰富，包含大量细节的图像，并可直接、快速地在屏幕上显示出来，但占用存储空间较大，一般需要数据压缩

  3. 位图与矢量图相比，位图占用空间较大，处理侧重于获取、复制，显示速度快

11.4 视频

• 流媒体技术

  1. 把连续影像、声音信息经压缩处理后放上网站服务器，让用户一边下载一边观看收听，而不等整个压缩文件下载到计算机上才可以观看的网络传输技术

  2. 该技术先在使用者端的计算机上创建一个缓冲区，在播放前预先下一段数据作为缓冲，在网路实际连线速度小于播放所耗速度时，播放程序就取用一小段缓冲区内的数据，可以避免播放中断，保证播放品质

• 计算

  容量 = 每帧图像容量(B) x 每秒帧数 x 时间 + 音频容量 x 时间

  例：视频图像每帧数据量6.4MB，帧速30帧/秒，则显示10秒视频信息原始数据量：6.4 * 30 * 10 = 1920MB

• AVS工作组：

  1. 数字音视频编解码技术标准工作组，工作组任务：面向我国信息产业需求，联合国内企业科研机构制/修订数字音视频压缩、解压缩、处理、表示等共性技术标准，为数字音视频设备与系统提供髙效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通信、互联网宽带流媒体等重大信息产业应用

  2. 《信息技术先进视频编码》简称AVS标准，包括系统、视频、音频、数字版权管理等4个主要技术标准和一致性测试等支撑标准，中国数字音、视频压缩编码国家标准是 （AVS） 标准