视频编解码学习之一：理论基础

第1章介绍

1. 为什么要进行视频压缩？

未经压缩的数字视频的数据量巨大

存储困难

一张DVD只能存储几秒钟的未压缩数字视频。

传输困难

1兆的带宽传输一秒的数字电视视频需要大约4分钟。

2.?为什么可以压缩

去除冗余信息

空间冗余：图像相邻像素之间有较强的相关性

时间冗余：视频序列的相邻图像之间内容相似

编码冗余：不同像素值出现的概率不同

视觉冗余：人的视觉系统对某些细节不敏感

知识冗余：规律性的结构可由先验知识和背景知识得到

3.?数据压缩分类

无损压缩（Lossless）

压缩前解压缩后图像完全一致X=X'

压缩比低(2:1~3:1)

例如：Winzip，JPEG-LS

有损压缩（Lossy）

压缩前解压缩后图像不一致X≠X'

压缩比高(10:1~20:1)

利用人的视觉系统的特性

例如：MPEG-2，H.264/AVC，AVS

4.?编解码器

编码器（Encoder）

压缩信号的设备或程序

解码器（Decoder）

解压缩信号的设备或程序

编解码器(Codec)

编解码器对

5. 压缩系统的组成

(1) 编码器中的关键技术

(2) 编解码中的关键技术

6.?编解码器实现

编解码器的实现平台：

超大规模集成电路VLSI

ASIC， FPGA

数字信号处理器DSP

软件

编解码器产品：

机顶盒

数字电视

摄像机

监控器

7. 视频编码标准

编码标准作用：

兼容：

不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码

高效：

标准编解码器可以进行批量生产，节约成本。

主流的视频编码标准：

MPEG-2

MPEG-4 Simple Profile

H.264/AVC

AVS

VC-1

标准化组织：

ITU：InternaTIonal TelecommunicaTIons Union

VECG：Video Coding Experts Group

ISO：InternaTIonal Standards OrganizaTIon

MPEG：Motion Picture Experts Group

8. 视频传输

视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端

传输系统：互联网，地面无线广播，卫星

9. 视频传输面临的问题

传输系统不可靠

带宽限制

信号衰减

噪声干扰

传输延迟

视频传输出现的问题

不能解码出正确的视频

视频播放延迟

10. 视频传输差错控制

差错控制（Error Control）解决视频传输过程中由于数据丢失或延迟导致的问题

差错控制技术：

信道编码差错控制技术

编码器差错恢复

解码器差错隐藏

11.?视频传输的QoS参数

数据包的端到端的延迟

带宽：比特/秒

数据包的流失率

数据包的延迟时间的波动

第2章 数字视频

1.图像与视频

图像：是人对视觉感知的物质再现。

三维自然场景的对象包括：深度，纹理和亮度信息

二维图像：纹理和亮度信息

视频：连续的图像。

视频由多幅图像构成，包含对象的运动信息，又称为运动图像。

2. 数字视频

数字视频：自然场景空间和时间的数字采样表示。

空间采样

解析度（Resolution）

时间采样

帧率：帧/秒

3. 空间采样

二维数字视频图像空间采样

4. 数字视频系统

采集

照相机，摄像机

处理

编解码器，传输设备

显示

显示器

5. 人类视觉系统HVS

HVS

眼睛

神经

大脑

HVS特点：

对高频信息不敏感

对高对比度更敏感

对亮度信息比色度信息更敏感

对运动的信息更敏感

6. 数字视频系统的设计应该考虑HVS的特点：

丢弃高频信息，只编码低频信息

提高边缘信息的主观质量

降低色度的解析度

对感兴趣区域（Region of Interesting，ROI）进行特殊处理

7. RGB色彩空间

三原色：红（R），绿（G），蓝（B）。

任何颜色都可以通过按一定比例混合三原色产生。

RGB色度空间

由RGB三原色组成

广泛用于BMP，TIFF，PPM等

每个色度成分通常用8bit表示[0,255]

8. YUV色彩空间

YUV色彩空间：

Y：亮度分量

UV：两个色度分量

YUV更好的反映HVS特点

9. RGB转化到YUV空间

亮度分量Y与三原色有如下关系：