一. 直播客户端音频处理流程

首先采集音频，采集到的音频内容过大，要经过编码压缩才能传输。

二. 音频数据流的采集

编码流程：采集到的原始数据就是PCM，经过编码器编码压缩后成为aac/mp3格式的压缩数据，然后再套一层封装形成mp4/flv格式的多媒体文件。

解码流程：mp4/flv格式的多媒体文件经过解封装，得到aac/mp3格式的压缩数据，再经过解码器解码，生成PCM数据。

可以看出编码和解码是完全相反的过程。

三. 声音三要素

1. 音调：音频的快慢。如男生音调小于女生，而女生小于儿童，音频越快声音越悦耳。
2. 音量:震动的幅度。

3. 音色：谐波 不同的乐器有不同的谐波，对于乐器来说，钢琴对于小提琴产生的声音是不一样的，但是他们的频率是一样的。

   
   

谐波就是和音，黄色绿色蓝色三种正弦波通过协调合成了一个紫色的波形，其中绿色波是基频波，合成的紫色波也是在它的频率上微调，而紫色中波形的小的震动波形(如顶端)就是谐波，声音好听不好听就是这些小的谐波导致的。

四. 模数转换

我们自然界中的声音是模拟信号，需要将声音的模拟信号转化为数字信号，如何进行数字信号采样，首先模拟信号如下：

对声音进行量化采样，按照每0.25进行采样，当然采样越多声音损失就越少：

经过量化采样后就变成了数字信息：

再将相应的数据转成二进制，就可以在链路上传播了。

五. 音频原始数据

1. 音频原始数据格式

常用的格式：

• PCM：纯的音频数据，没有任何格式。
• WAV：PCM数据上套上一个头部，就成了WAV数据，头部存着PCM基本信息，所以它基本上存储的是PCM数据。

2. 量化基本概念

• 采样大小：一个采样用多少bit存放。常用的是16bit
• 采样频率：8k、16k。32k、44.1k、48k
• 声道数: 单声道、双声道、多声道、三个声道以上叫做立体声。

一个PCM的音频流的码率=采样率采样大小声道数，比如：
采样率为44.1khz，采样大小为16bit，双声道的PCM编码WAV文件，它的码率为44.1khz162=1411.2kb/s 每秒1.4M的数据传输。这么大的码流显然无法在我们的网络上传输，所以需要压缩。

3. WAV Header

上面说了WAV格式是PCM上套了个头部，头部具体包括了采样大小、采样频率，声道数及其他信息。

六. 音频编码原理

1.音频压缩

音视频压缩技术是在保证信号在听觉方面不产生失真的前提下，对音频数据信号进行尽可能大的压缩，包括有损压缩和无损压缩。

• 消除冗余信息，也是有损压缩，冗余信号是指不能被人耳感知到的信号，包含人耳听觉范围之外的音频信号以及被掩蔽掉的音频信号。信号的遮蔽可以分为频域遮蔽和时域遮蔽。

频域遮蔽效应

声强不高和人耳听觉范围之外的音频信号都会被遮蔽掉，频率相近的高声强会遮蔽掉低声强的声音。

时域遮蔽效应

随着时间的推移，声音之间会有遮蔽效应，越靠近某个时间段高声强的声音越容易被遮蔽，同时发出的声音声强低的被遮蔽。

• 无损压缩，无损编码，通过优化排列方式来达到压缩目的。

熵编码

• 哈夫曼编码
• 算术编码
• 香农编码

2.音频编码过程

3.常用音频编码器

包括OPUS、AAC、Ogg、Speex、iLBC、AMR、G.711等，其中，AAC在直播系统中应用比较广泛；OPUS是较新的音编码器，WebRTC默认使用OPUS；固话一般用的G.711。
网上效果测评：OPUS>AAC>Ogg。

AAC(Advanced Audio Coding)

相对于Mp3:

• 压缩率更高
• 保真性较好，解压还原度高。

它通过一些附加的编码技术（比如PS、SBR等），衍生出了LC-AAC、HE-AAC（v1）、HE-AAC v2三种主要的编码格式。

AAC格式

4.ffmpeg生成AAC文件

ffmpeg -i water.mp4 -vn -c:a libfdk_aac -ar 44100 -profile:a aac_he_v2 -b:a 48k -ac 2 out.aac

-b:a：音频码率

可能的报错：

解决方案：

5.音频重采样

音频重采样就是将音频三元组(采样率、采样大小、通道数)的值转成另一组值，如将44100/16/2转成48000/16/2，

为什么要重采样呢？

• 从设备采集的音频数据与编码器要求的数据不一致
• 扬声器要求的音频数据与要播放的音频数据不一致
• 更方便运算，如回音消除要求单声道，因为单声道更容易进行回音消除，所以需要重采样变成单声道。

重采样的步骤

• 创建重采样上下文
• 设置参数
• 初始化重采样
• 进行重采样

重采样的几个重要的API

• swr_alloc_set_opts：1. 创建重采样上下文 2. 设置参数。
• swr_init：初始化重采样
• swr_convert：对音频帧转换，重采样。
• swr_free：释放上下文

6 .ffmpeg编码过程

创建并打开编码器