音视频概念

视频相关概念

1. 视频文件格式. 文件存储时的后缀名
   .mov .avi .mp4 .mpg .vob .mkv .rm .rmvb 等等
   多种文件格式时因为通过不同的方式实现了视频，即视频封装格式

2. 视频封装格式
   简称视频格式，就是将已经编码压缩好的视频数据 和音频数据还有视频同步的元数据.例如字幕.按照一定的格式放到一个文件中，相当于是一种存储视频信息的容器

• AVI格式，对应文件格式为.avi 优点是图像质量好，缺点是体积过于庞大

• DV-AVI格式，对应文件格式为.avi 常见的数码相机是使用这种格式记录视频数据的

• WMV格式，对应文件格式为.wmv,.asf 同等视频质量下，WMV格式的文件可以边下载边播放，适合在网络上播放和传输

• MPEG 格式，对应的文件格式有 .mpg、.mpeg、.mpe、.dat、.vob、.asf、.3gp、.mp4 等等，英文全称 Moving Picture Experts Group，是由运动图像专家组制定的视频格式，该专家组于 1988 年组建，专门负责视频和音频标准制定，其成员都是视频、音频以及系统领域的技术专家。MPEG 格式目前有三个压缩标准，分别是 MPEG-1、MPEG-2、和 MPEG-4。MPEG-4 是现在用的比较多的视频封装格式，它为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。

• Matroska 格式，对应的文件格式是 .mkv，Matroska 是一种新的视频封装格式，它可将多种不同编码的视频及 16 条以上不同格式的音频和不同语言的字幕流封装到一个 Matroska Media 文件当中。

• Real Video 格式，对应的文件格式是 .rm、.rmvb，是 Real Networks 公司所制定的音频视频压缩规范称为 Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。

• QuickTime File Format 格式，对应的文件格式是 .mov，是 Apple 公司开发的一种视频格式，默认的播放器是苹果的 QuickTime。这种封装格式具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。

• Flash Video 格式，对应的文件格式是 .flv，是由 Adobe Flash 延伸出来的一种网络视频封装格式。这种格式被很多视频网站所采用。

3.常见的视频容器格式

• AVI: 是当时为对抗quicktime格式（mov）而推出的，只能支持固定CBR恒定定比特率编码的声音文件
• MOV:是Quicktime封装
• WMV:微软推出的，作为市场竞争
• mkv：万能封装器，有良好的兼容和跨平台性、纠错性，可带外挂字幕
• flv: 这种封装方式可以很好的保护原始地址，不容易被下载到，目前一些视频分享网站都采用这种封装方式
• MP4：主要应用于mpeg4的封装，主要在手机上使用。

4.视频编解码方式
视频编解码的过程是指对数字视频进行压缩或解压缩的一个过程.

视频编码分为硬编码和软编码

• 硬编码（硬件）
  视频：VideoToolBox框架
  音频：AudioToolBox框架
• 软编码（cpu计算编码）ffmpeg
  编码方式目前主流是h264
  h265 iOS11以后才支持 cpu负荷比较大

5.颜色模型
常用的是RGB模型
YUV模型
YUV Y亮度 UV色度
YUV 4:4:4
YUV 4:4:2
YUV 4:2:0