16_AAC解码实战
本文主要讲解：如何将AAC编码后的数据解码成PCM。
命令行
用法非常简单：
ffmpeg -c:a libfdk_aac -i in.aac -f s16le out.pcm
-
-c:a libfdk_aac
- 使用fdk-aac解码器
- 需要注意的是：这个参数要写在aac文件那边，也就是属于输入参数
-
-f s16le
- 设置PCM文件最终的采样格式
注意：
其他输出参数可以不传，会采用默认值，比如输入文件的采样率是 44100，那么默认输出也是 44100。参数 -f 是必须要有的，否则会报错Unable to find a suitable output format for ‘out.pcm’ out.pcm: Invalid argument；要选择解码器支持的采样格式，否则会报错Requested output format 'XXX' is not a suitable output format out.pcm: Invalid argument；
编程
需要用到2个库：
extern "C" {
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
}
#define ERROR_BUF(ret) \
char errbuf[1024]; \
av_strerror(ret, errbuf, sizeof (errbuf));
函数声明
我们最终会将AAC解码的操作封装到一个函数中。
// 解码后的PCM参数
typedef struct {
const char *filename;
int sampleRate;
AVSampleFormat sampleFmt;
int chLayout;
} AudioDecodeSpec;
class FFmpegs {
public:
FFmpegUtil();
static void aacDecode(const char *inFilename,
AudioDecodeSpec &out);
};
函数实现
变量定义
// 输入缓冲区的大小
#define IN_DATA_SIZE 20480
// 需要再次读取输入文件数据的阈值
#define REFILL_THRESH 4096
// 返回结果
int ret = 0;
// 每次从输入文件中读取的长度
int inLen = 0;
// 是否已经读取到了输入文件的尾部
int inEnd = 0;
// 用来存放读取的文件数据
// 加上AV_INPUT_BUFFER_PADDING_SIZE是为了防止某些优化过的reader一次性读取过多导致越界
char inDataArray[IN_DATA_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
char *inData = inDataArray;
// 文件
QFile inFile(inFilename);
QFile outFile(out.filename);
// 解码器
AVCodec *codec = nullptr;
// 上下文
AVCodecContext *ctx = nullptr;
// 解析器上下文
AVCodecParserContext *parserCtx = nullptr;
// 存放解码前的数据
AVPacket *pkt = nullptr;
// 存放解码后的数据
AVFrame *frame = nullptr;
AAC解码流程图
aac解码流程
AAC解码读取数据和AAC编码不太一样，AAC编码是直接把数据读取到frame的缓冲区，但是进行AAC解码并没有把数据直接放入AVPacket缓冲区。建议按照官方的实例程序把数据先读到另外一个地方，也就是先读到我们代码中的inDataArray，所以inDataArray存放的就是读取的输入文件数据，也就是aac数据。代码中我们将inDataArray值赋值给了inData那么inData指向了inDataArray首元素。 数组inDataArray需要多大呢？可以我们自己来定，代码中我设置的是20480字节，数值参考了FFmpeg官方示例程序。正常我们认为inDataArray的大小直接设置成20480就可以了，但是官方示例程序在我们希望的缓冲区大小基础上加了AV_INPUT_BUFFER_PADDING_SIZE的大小。为什么要增加 AV_INPUT_BUFFER_PADDING_SIZE的大小呢？如果你不参考官方示例程序，你在某些地方也是可以发现端倪的。比如在我们后续要用到的一个函数av_parser_parse2的注释中有说完整的缓冲区的大小应该被认定为buffer_size + AV_INPUT_BUFFER_PADDING_SIZE。然后我们查看AV_INPUT_BUFFER_PADDING_SIZE源码其值是64，其中注释说一些优化过的比特流读取器一次读取32或者64位，有可能会读过头，访问了不该访问的内存空间。为了防止读取器读过头建议你加上AV_INPUT_BUFFER_PADDING_SIZE。
av_parser_parse2 注释
AV_INPUT_BUFFER_PADDING_SIZE
FFmpeg 源码中全局搜索 AV_INPUT_BUFFER_PADDING_SIZE
获取解码器
// 获取解码器
codec = avcodec_find_decoder_by_name("libfdk_aac");
if (!codec) {
qDebug() << "decoder libfdk_aac not found";
return;
}
初始化解析器上下文
// 初始化解析器上下文
parserCtx = av_parser_init(codec->id);
if (!parserCtx) {
qDebug() << "av_parser_init error";
return;
}
创建上下文
// 创建上下文
ctx = avcodec_alloc_context3(codec);
if (!ctx) {
qDebug() << "avcodec_alloc_context3 error";
goto end;
}
创建AVPacket
// 创建AVPacket
pkt = av_packet_alloc();
if (!pkt) {
qDebug() << "av_packet_alloc error";
goto end;
}
创建AVFrame
// 创建AVFrame
frame = av_frame_alloc();
if (!frame) {
qDebug() << "av_frame_alloc error";
goto end;
}
打开解码器
// 打开解码器
ret = avcodec_open2(ctx, codec, nullptr);
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "avcodec_open2 error" << errbuf;
goto end;
}
打开文件
// 打开文件
if (!inFile.open(QFile::ReadOnly)) {
qDebug() << "file open error:" << inFilename;
goto end;
}
if (!outFile.open(QFile::WriteOnly)) {
qDebug() << "file open error:" << out.filename;
goto end;
}
解码
// 读取数据
inLen = inFile.read(inData, IN_DATA_SIZE);
while (inLen > 0) {
// 经过解析器上下文处理
ret = av_parser_parse2(parserCtx, ctx,
&pkt->data, &pkt->size,
(uint8_t *) inData, inLen,
AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "av_parser_parse2 error" << errbuf;
goto end;
}
// 跳过已经解析过的数据
inData += ret;
// 减去已经解析过的数据大小
inLen -= ret;
// 解码
if (pkt->size > 0 && decode(ctx, pkt, frame, outFile) < 0) {
goto end;
}
// 如果数据不够了，再次读取文件
if (inLen < REFILL_THRESH && !inEnd) {
// 剩余数据移动到缓冲区前
memmove(inDataArray, inData, inLen);
inData = inDataArray;
// 跨过已有数据，读取文件数据
int len = inFile.read(inData + inLen, IN_DATA_SIZE - inLen);
if (len > 0) {
inLen += len;
} else {
inEnd = 1;
}
}
}
// 刷新缓冲区
// pkt->data = NULL;
// pkt->size = 0;
// decode(ctx, pkt, frame, outFile);
decode(ctx, nullptr, frame, outFile);
av_parser_parse2部分参数解析
// 返回已使用的二进制流长度
int av_parser_parse2(AVCodecParserContext *s, // 解析器上下文
AVCodecContext *avctx, // 解码上下文
uint8_t **poutbuf, // 输出数据地址，此处是 &pkt->data
int *poutbuf_size, // 输出数据大小
const uint8_t *buf, // 输入数据
int buf_size, // 输入数据大小
int64_t pts, int64_t dts,
int64_t pos);
虽然说inDataArray中有20480字节的输入数据，但是parser并不一定全部“吃得消”，我们把inDataArray的首元素地址告诉了parser，parser会从首元素的位置开始解析数据，解析完把数据送到AVPacket中去，然后把AVPacket中的数据送入到解码器中解析，解析完成把数据放入AVFrame中，最后写入out.pcm文件中。所以inDataArray中的数据可能会被解析多次（parser每次解析的长度并不一定相同），这也是创建一个inData指针指向inDataArray的目的。所以parser每解析完一次我们要跳过已解析过的数据，同时inLenth要减去已经解析过的数据大小。
parser解析缓冲区中数据
经过n次parser解析后，如果inDataArray中数据不够了，需要我们从in.aac中读取数据填充inDataArray，那么我们何时重新填充呢？inDataArray中只剩几个字节数据或者没有了数据的时候我们再填充可不可以？ 假如inDataArray中只剩几个字节的有效数据，我们照常把 inData交给parser，那么parser有可能会读取到AV_INPUT_BUFFER_PADDING_SIZE的部分，虽然说没有越界，但是AV_INPUT_BUFFER_PADDING_SIZE部分是没有有效aac数据的，所以显然是不行的。根据官方示例程序，我们需要设置了一个需要再次读取文件数据的阈值（REFILL_THRESH = 4096），当剩余数据长度低于阈值后（inLenth < REFILL_THRESH），我们就要往输入缓冲区inDataArray中填充数据。在填充新的数据前，我们需要把输入缓冲区inDataArray中剩余的有效数据移动到输入缓冲区inDataArray的最前面，然后从in.aac文件中读取aac数据，填充在剩余有效数据的后面（如下图）。这里需要注意的是，重新从in.aac文件中读取的数据长度应该是IN_DATA_SIZE - inLenth（缓冲区中剩余有效aac数据的长度）。
缓冲区中剩余有效数据长度低于阈值后重新填入数据
具体的解码操作在decode函数中。
static int decode(AVCodecContext *ctx,
AVPacket *pkt,
AVFrame *frame,
QFile &outFile) {
// 发送压缩数据到解码器
int ret = avcodec_send_packet(ctx, pkt);
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "avcodec_send_packet error" << errbuf;
return ret;
}
while (true) {
// 获取解码后的数据
ret = avcodec_receive_frame(ctx, frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
return 0;
} else if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "avcodec_receive_frame error" << errbuf;
return ret;
}
// 将解码后的数据写入文件
outFile.write((char *) frame->data[0], frame->linesize[0]);
}
}
注意：
如果frame中的数据是planar格式，写入文件时不能直接写入frame->data[0]，因为可能有多个声道，如果有两个声道，frame->data[0] 是左声道，那么frame->data[1] 就是右声道。写入pcm的数据我们一般不希望是 planar 格式数据，因为播放器最终播放的都不是planar格式。以两个声道为例，我们需要轮流把两个声道中的样本数据写入pcm 文件。具体以声道数为准。
设置输出参数
// 设置输出参数
out.sampleRate = ctx->sample_rate;
out.sampleFmt = ctx->sample_fmt;
out.chLayout = ctx->channel_layout;
释放资源
end:
inFile.close();
outFile.close();
av_frame_free(&frame);
av_packet_free(&pkt);
av_parser_close(parserCtx);
avcodec_free_context(&ctx);
函数调用
#ifdef Q_OS_WIN
#define IN_FILENAME "../test/in.aac"
#define OUT_FILENAME "../test/out.pcm"
#else
#define IN_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/in.aac"
#define OUT_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out.pcm"
#endif
AudioDecodeSpec out;
out.filename = OUT_FILENAME;
FFmpegUtil::aacDecode(IN_FILENAME,out);
// 44100
qDebug() <<"采样率："<<out.sampleRate;
// s16
qDebug() <<"采样格式："<<av_get_sample_fmt_name(out.sampleFmt);
// 2
qDebug() <<"声道数："<<av_get_channel_layout_nb_channels(out.chLayout);
