《AVFoundation秘籍》第1章 AVFoundation

1.AVFoundation 提供的核心功能

• （1）音频播放和记录
• （2）媒体文件检查
• （3）视频播放
• （4）媒体捕捉
• （5）媒体编辑
• （6）媒体处理

2.数字媒体

采样：要将模拟信号转成我们能够存储并传输的数字信号，要经过模拟-数字转换过程，这个过程称为采样。
对媒体内容进行数字化主要有两种方式：

• 时间采样
  捕捉一个信号周期内的变化。
• 空间采样
  捕捉其亮度和色度，进而创建由该图片的像素点数据所构成的数字化结果。

3.音频&视频采样介绍

• 音频信号
  振幅 代表电压的强度 或者 响应信号的强度。
  频率 表示在一定周期内振动完成循环的次数，单位是 赫兹（Hz）
  人类可以听到的音频范围是20Hz - 20kHz。

音频数字化的过程包含一个编码方式，称为“线性脉冲编码调制” LPCM 或者 Linear PCM。
这个过程采样或者测量一个固定的音频信号的周期率称为采样率。

• 视频信号
  视频文件由一系列“帧”的图片组成。
  一秒内所能展现的帧数 称为帧率，单位 FPS。
  RGB

4.数字媒体压缩

4.1 色彩二次抽样

YUV
Y:亮度
UV：颜色
人的眼睛对亮度的敏感度高于颜色，所以减少颜色数据，可以压缩文件大小，这个过程称为色彩二次抽样。

image.png

4.2 视频编解码器 -- H264

H264 在空间维度和 时间维度 缩小了视频文件的尺寸；

• 空间：压缩独立视频帧，称为帧内压缩。
• 时间：通过以组为单位的视频帧压缩冗余数据，称为帧间压缩。

帧内压缩：通过消除包含每个独立视频帧内的色彩以及结构中的冗余信息来进行压缩，通过这一过程创建的帧称为I帧（I-frames）关键帧

帧间压缩 ：一组帧（GOP）所在的时间维度的冗余可以被消除（如一组帧中固定的背景）

GOP

一组帧中存在三种类型的帧：

• I-frames：单独的帧或关键帧，包含创建完整图片需要的所有数据。每个GOP中有一个I-frames，它的尺寸最大，解压最快。
• B-frames: 双向帧，是基于使用之前和之后的帧信息进行编码后得到的帧。几乎不需要存储空间，但解压时间长。因为要依赖周围其他帧。
• P-frames: 预测帧 ，是基于最近I-frames或者P-frames的可预测的图片进行编码得到的。

4.3 音频编解码器

• AAC
  高级音频编码是H.264标准相对应的音频处理方式。