二、视频编解码基础知识
一、概述
图像信息经采集后生成的原始视频数据，数据量非常大，对于某些采集后直接本地播放的应用场合，不需要考虑压缩技术。但现实中更多的应用场合，涉及视频的传输与存储，传输网络与存储设备无法容忍原始视频数据的巨大数据量，必须将原始视频数据经过编码压缩后，再进行传输与存储。
二、为什么要进行视频压缩？
（1）未经压缩的数字视频的数据量巨大
（2）存储困难，如：一张DVD只能存储几秒钟的未压缩数字视频
（3）传输困难，如：1兆的带宽传输一秒的数字电视视频需要大约4分钟，720p RGB 15帧每秒码率计算： 1280 x 720 x 3 x 15 ≈ 41MB ≈ 331Mb
三、视频压缩的可行性，为什么可以进行视频压缩？
将视频数据中的冗余信息去除，寻找像素之间的相关性，还有不同时间的图像帧之间的相关性。
| 冗余信息类别 | 内容 | 压缩方法 |
|---|---|---|
| 空间冗余 | 图像相邻像素之间有较强的相关性 | 变换编码、帧内预测 |
| 时间冗余 | 视频序列的相邻图像之间内容相似 | 运动补偿、帧间预测 |
| 编码冗余 | 不同像素值出现的概率不同 | 轮廊编码、区域分割 |
| 视觉冗余 | 人的视觉系统对某些细节不敏感 | 非线性量化、位分配 |
| 知识冗余 | 收发两端对人物的共有认识 | 基于知识的编码 |
| 其他 | 不确定因素 |
视频冗余
四、视频压缩分类
- 无损压缩（Lossless），压缩前解压缩后图像完全一致X=X'，压缩比低(2:1~3:1)，例如：Winzip，JPEG-LS，哈夫曼编码，
- 有损压缩（Lossy），压缩前解压缩后图像不一致X≠X'，压缩比高(10:1~20:1)，利用人的视觉系统的特性，例如：MPEG-2，H.264/AVC，AVS
五、视频编码是什么？
视频编码 是压缩和可能改变视频内容格式的过程，有时甚至将模拟源更改为数字源。在压缩方面，目标是减少占用空间。这是因为它是一个有损的过程，会抛弃与视频相关的信息。在解压缩以进行回放时，创建原始的近似值。应用的压缩越多，抛出的数据越多，近似值与原始数据相比越差。
六、什么是视频编解码器？
视频编解码器是通过软件或硬件应用程序完成的视频压缩标准。编解码器，如：H.264，VP8，RV40以及其他标准或更高版本(VP9)
- 编码器（Encoder） -- 压缩信号的设备或程序，用于压缩视频。
- 解码器（Decoder） -- 解压缩信号的设备或程序，用于重新创建视频的近似值以用于回放。
注：音频编解码器，如：LAME / MP3，Fraunhofer FDK AAC，FLAC等。
七、编码的基本概念及原理
1. 预测编码
根据已经编码好的块信息得到一个预测值，这样只需要编码实际值与预测值之间的差异即可。
空间冗余的消除：
帧内预测：根据同一帧中相邻已编码好的块信息得到预测数据，编码差异数据
时间冗余的消除：
帧间预测：根据已编码帧中的块信息得到预测数据，编码差异数据
预测编码.png
2. IPB帧类型（经过压缩后的帧类型）
I 帧：仅采用帧内压缩技术，压缩效率最低，编解码无需用到其他帧的信息，是GOP的起始点。
P 帧：前向预测帧，编解码只参考前一个帧，可作为其他图像编码时的参考帧，属帧间压缩技术。
B 帧：双向预测帧，编解码既参考前一帧也可参考后一帧，压缩效率最高，复杂度高，时延较大，属帧间压缩技术。
3. GOP （图像组）
GOP(group of pictures)一般指两个I帧之间的间隔帧数，两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。
| IPB序列 | IP序列 |
|---|---|
|
|
直播场景下，由于对延时高要求，而B帧会带来延时，所以都是使用IP序列
4. H264压缩技术 -- 基本概念
H.264 原始码流(⼜称为 裸流)，是由⼀个接⼀个的 NALU 组成的，而它的功能分为两层：视频编码层VCL 和 网络提取层NAL。
4.1 视频编码层VCL(Video Coding Layer)
VCL负责有效表示视频数据的内容。
H264除了实现了对视频的压缩处理之外，为了方便网络传输，提供了对应的视频编码和分片策略；类似于网络数据封装成IP帧，在H264中将其称为组(gop)、片（slice）、宏块（Macroblock）这些一起组成了H264的码流分层结构;H264将其组织成为序列(GOP)、图片(pictrue)、片(Slice)、宏块(Macroblock)、子块(subblock)五个层次。
|
|
宏块：视频编码的基本单元，h264通常宏块大小为16x16个像素，所以编码器一般会对图像的宽 高有要求，需要为16的倍数。
Slice：条带，图像的划分，一帧图像可编码成一个或者多个条带，每条带包含整数个宏块。
SPS: 序列参数集，包含应用于完整视频序列的语法元素，比如图像宽，高等。
PPS: 图像参数集，包含应用于编码图像的语法元素，比如量化参数，参考帧列表大小等。
4.2 网络传输层 NAL （Network Abstraction Layer）
NAL定义了数据封装的格式和统一的网络接口，负责格式化VCL数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。
NAL基本单元为NALU，每一个NALU包含一个字节的头信息和其后的负载数据。
参考文档
https://zhuanlan.zhihu.com/p/31056455
https://blog.csdn.net/knowledgebao/article/details/86716428
重点链接：NAL/NALU详解可以查阅：
https://www.jianshu.com/p/1b3f8187b271
http://www.wendangku.net/doc/039e95757fd5360cba1adb46.html
5. H264压缩技术 -- 基本原理
流程图
附上几篇文章：
https://blog.csdn.net/knowledgebao/article/details/86716428
https://zhuanlan.zhihu.com/p/31056455
https://www.jianshu.com/p/0c296b05ef2a
八、常见编码器 及 相关术语说明
8.1 常见编码器
-
OpenH264
思科开源软件编解码器，适用于实时程序，例如webrtc。
只支持IP帧类型；
只支持baseline profile；
动态调整码率，帧率，分辨率；
支持分层编码SVC；
编码速度快，cpu使用率低。 -
X264
VideoLAN工作组开发的开源编码器，历史久远，适用于各种场景。
支持IPB帧；
支持多种profile，level；
各种配置适合多种场景，例如动画，电影等；
cpu占用相对会高一点；
直播使用的场景预置为zerolatency。
8.2 硬编硬解
Android平台市面上大部分的芯片厂商的硬编硬解都适配，例如：高通，三星Exynos，联发科，海思等；windows平台上支持Intel qsv硬编硬解。
| 不同点 | 硬编 | 软编（普通编码） |
|---|---|---|
| 编码方式 | 使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等。 | 使用CPU进行编码 |
| 使用方式 | 性能高，低码率下通常质量低于软编码器，但部分产品在GPU硬件平台移植了优秀的软编码算法（如X264）的，质量基本等同于软编码 | 实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常比硬编码要好一点 |
| 复杂程度 | 普通编码是一种设计，而硬编码不过是一种具体的实现 | 普通编码比硬编码要复杂一些，对以后的考虑要周到一些 |
| 对比 | 软编软解 | 硬件编解码 |
|---|---|---|
| 开销 | 使用cpu,占用率高 | 使用特定硬件(GPU),基本不占用cpu |
| 延迟 | 延时较低 | 延时与硬件有关，比较高 |
| 适应性 | 灵活，普适性高 | 适用性窄，部分解码会对码流有要求 |
| 画质 | 同等码率下画质好 | 同等码率下画质稍差 |
8.3 分辨率
分辨率：（矩形）图片的长度和宽带，即图片的尺寸。影响图像大小，与图像大小成正比；分辨率越高，图像越大；分辨率越低，图像越小。
分辨率是指视频画面横向和纵向被切分成多少块。
区别 1080P , 3MP ,4K
P 720P 、1080P 表示的是"视频像素的总函数" ，' P ' (Progressive的缩写)表示的是"逐行扫描"
K 2K 、4K 等是表示 "视频像素的总列数" ，4K表示的是视频有4000列的像素数，具体是3840列或4096列。
MP 代表的是像素总数，指像素的行数（P）与列数（K）相乘后的一个结果（百万像素）。
8.4 帧率
帧率 是指每秒图像的数量，一帧代表的就是一副静止的画面，连续的帧就形成了动画。影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。帧率就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。
8.5 码流 Data Rate ( 码率 )
码率 指编码器每秒编出的数据大小，单位是kbps 。
视频文件在单位时间内使用的数据流量，指把每秒显示的图片进行压缩后的数据量。影响体积，与体积成正比：码率越大，体积越大，码率越小，体积越小。（体积=码率X时间）
压缩前的每秒数据量 = 帧率 x 分辨率（单位是字节）
压缩比 = 压缩前的每秒数据量 / 码率（对于同一视频源并采用同一种视频编码算法，压缩比越高，画面质量越差）
清晰度
在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。
在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。
好文章理解分辨率、帧率和码率三者之间的关系：https://blog.csdn.net/qq_39759656/article/details/80701965
直播场景下，常见的视频配置的推荐如下
| 分辨率 p | 帧率 fps | 码率 Kbps |
|---|---|---|
| 240*320 | 15 | 300 |
| 360*640 | 15 | 600 |
| 480*640 | 15 | 800 |
| 540*960 | 20 | 1200 |
| 720*1280 | 20 | 1500 |
| 1080*1920 | 30 | 3000 |
都看到这里了，点个赞呗 0.0
